APP推广合作
联系“鸟哥笔记小乔”
6000字超全解读之云产品使用体验度量模型
2024-04-28 13:59:37

作者:问问

B端产品的使用体验是衡量B端产品架构方案设计是否合理、产品是否好用的一个重要依据,也是提升产品竞争优势的重要因素。且B端产品具有链路冗长、操作复杂等特点,好的体验设计有助于优化这些特点可能带来的体验雷点,降低用户上手门槛。因此,度量B端产品的使用体验尤为重要。

但由于业务特征的差异,C端产品较为成熟的体验度量方案很难直接搬用于B端产品,「寻找适合B端产品的体验度量方案」也就自然而然地成为一个重点和难点。

本篇文章便从该角度出发,介绍B端云产品常用的使用体验度量模型,为大家提供一些实践的思路。

1、产品体验度量模型概览

行业中现有的B端产品体验度量方案有哪些呢?此处以指标数据的主客观属性为依据,将体验度量方案划分为客观度量、主观度量和兼顾主客观度量三大类型。

客观度量主要是通过数据埋点监测用户行为数据,典型模型/指标如PULSE模型、活跃用户数、留存率、ARPU、LTV等;

主观度量主要是收集用户对产品的主观评分,典型模型/指标包括NPS、费力度、客户满意度指数、KANO满意度模型等;

主客观兼顾度量则是结合用户行为数据和主观打分得到分值,并把分值划分成不同等级作为参考,典型模型包括UES模型、HEART模型、GSM模型、PTECH模型等等。

图| 现有体验度量模型概览

从这个分类盘点可看出,各互联网大厂目前正在使用的度量模型大多兼顾主客观数据,能够更全面地量化产品的使用体验。因此,本篇文章介绍的体验度量模型将聚焦于这一类型,主要侧重于UES模型的介绍,同时会简单地介绍下谷歌的HEART、GSM模型和蚂蚁金服的PTECH模型。

2、UES理论模型介绍

UES简介

UES(User Experience System)是阿里云设计中心通过多年设计实践中沉淀下来的云产品使用体验度量系统,它不仅是一套方法论,更是一套可运行的体系,由三大部分有机构成:

一是包含五大维度的 UES 体验度量模型;

二是包含易用性测试工具和数字化管理平台的体验工具集;

三是体验问题从发现到闭环的体验管理机制。

由此可见,除了确定模型指标,UES还进一步完善了基于UES模型的数字化管理体系,包括工具化的度量产品、系统化的管理机制(本篇文章主要介绍的是理论化层面的UES 体验度量模型)。

图| UES构成

度量产品体验的指标有很多,但整体上可分为三大类,分别是主观态度、客观行为和系统表现。从下往上,主观性会越来越强。

图| 体验指标类型

UES五大度量维度

UES模型为综合运用主观和客观、定性和定量分析的度量体系,包含易用性、一致性、满意度、任务效率和性能5个度量维度,适用于技术类B端(云)产品的体验度量场景。

图| UES模型五大度量维度

首先,衡量主观态度的维度有三个:易用性、一致性和满意度。

  • 易用性是衡量产品使用质量的核心维度,反映产品对用户而言是否易于学习和使用。

  • 一致性指多款产品间通用范式部分的一致程度。

  • 满意度反映用户对产品或服务的期望被满足的程度,且一定程度上会反映用户再次使用和对产品进行推荐的程度。

其次,衡量客观行为的维度为任务效率。任务效率反映用户使用产品完成任务的准确性和完备性以及相应的资源消耗程度。针对有明确任务或有固定使用流程的产品,通过比对用户路径和产品设计的理想路径之间的差异,能够帮助我们发现产品流程设计上的问题。

最后,衡量系统表现的维度为性能。性能反映用户使用产品的流畅性和稳定性,影响用户感知。

从整体上看,这些指标间并非相互独立,而是相互影响、相互促进。比如说,易用性的提升可以促进任务效率的提升,降低学习成本,提升用户对产品的满意度。一致性的提高可以降低用户的操作时长及错误率,进而提升任务效率和用户的满意度。而任务效率和性能的提升也能正向影响满意度。

UES指标体系

在五大度量维度的基础上,UES模型对每个维度细分了相应的二级指标,且运用了多种度量方法、度量工具来度量指标,整体框架如下:

图| UES模型框架

易用性包含易操作性、易学性、易见性/清晰性三个子维度,主要通过易用性测试、启发式评估等方法来度量。

一致性包含整体样式一致性、通用框架一致性、常用场景组件一致性等三个子维度,主要通过启发式评估来度量。

满意度的度量方法主要有用户访谈、问卷调研,采用的度量工具为可用性度量表、满意度问卷。

任务效率包含功能使用率、任务完成率、任务完成时间、任务完成效率等子维度,需要通过用户行为数据采集的数据监控方法来度量。

性能包含首屏渲染时间、页面请求响应时间、API请求响应时间、页面请求成功率等维度,需要通过应用实时监控服务的性能监控方法来度量。

对于每一个细分指标的定义,下表给出了相应的解释。但这些仅是比较普遍、通用的解释,在应用中,应根据实际情况进行调整。比如说,对于满意度的度量,SaaS和PaaS产品考量的维度会有些许不同。衡量SaaS产品满意度时可能会考量产品的智能化程度,衡量PaaS产品满意度时可能还会考量产品的开发效率、开放能力等。

图| UES模型指标定义

UES度量方法及工具

首先是易用性度量,UES模型的易用性度量运作机制如下图。度量方法主要分为面向专家的启发式评估和面向真实用户的易用性测试。这个过程中,需要由易用性专业建设组和业务线设计师、产品团队共同参与。整体可分为三步走:

一是统一易用性度量的标准、行动指南,以指导易用性度量的全流程;

二是输出专业的易用性度量报告;

三是通过系统化监控和专项改进进行闭环管理。

图| 易用性度量运作机制

下表是启发式评估和易用性测试过程中会运用到的易用性度量量表工具,主要是让专家和用户反馈使用这款产品的真实感受,对易用性的每个细分指标:易操作性、易学性、易见性的表现进行评分。

表|易用性度量表

接着是一致性度量,一致性的常用度量方法为专家评估法,其具体实施步骤如下:

第一步是组织评测人员:招募3~5人组成专家组。需注意的是,被评测产品的设计师需回避;

第二步是制定评测计划:划定评估的范围,建议一次性评估的功能不要太多;

第三步则是实施具体评测:在评估过程中,各位专家需独立完成,避免讨论沟通;

第四步为召开评测会议:让评估人员依次讲述评估发现并进行互动讨论;

最后是总结评价结果:将所有评估结果进行去重和收敛,输出结论建议。

图| 专家评估法实施步骤

在运用专家评估法度量一致性的过程中,所运用的度量工具表为一致性度量量表,主要是让专家对产品整体样式、通用框架、常用场景及组件的细分指标的一致性表现进行评分。

表|一致性度量表

然后是满意度度量。通用性的满意度度量量表框架如下,主要是对产品功能的易学性、易操作性、费力度等进行评价,但实际应用过程中应根据所度量对象调整量表内容。

表|满意度度量量表

任务效率为客观行为数据,需通过数据埋点与采集,进行用户行为分析得到相关原始数据,再根据指标定义公式计算相应的指标值。

性能度量指标为系统表现数据,可通过数据埋点或从系统后台拉取数据,借助性能监控系统实时监控性能指标。企业可结合实际业务场景自行搭建性能监控系统,也可应用市场上成熟的APM类监控产品,如阿里云的ARMS( Application Real-Time Monitoring Service, 应用实时监控服务 )

图 | ARMS性能监控效果图

体验评分

介绍完UES的指标体系及相应的度量方法及工具后,则到了最后一步:如何根据搭建好的指标体系及获取到的指标计算出产品或功能的体验得分呢?

整体的原理是:一级指标得分为其所包含的二级指标的加权平均值,而测评总分由一级指标得分加权平均得到。测评总分计算公式如下:

式中,S 为测评总分,ai 为第 i 个一级指标的得分,Wi 为第 i 个一级指标的权重,n 为一级指标的数量。

对于权重的确定,阿里对UES模型的权重设计为:易用性和一致性0.3,任务效率和性能0.1, 满意度0.2。

但对于面向大企业的B端产品,该权重不一定适合照搬。那么如何根据实际的体验度量对象确定指标的权重呢?

表 | 指标权重计算方法

此处归纳了常见的指标权重计算方法,主要有三类:主观赋权法、客观赋权法和综合赋权法。

  • 主观赋权法是基于决策者的经验或偏好,通过对各指标重要性进行比较来赋权,比如专家评分法、优序图法、层次分析法等;

  • 客观赋权法是从实际数据出发,利用各指标值所反映的客观信息确定权重,比如熵权法、标准离差法等;

  • 综合赋权法则是将主观赋权法和客观赋权法相结合。

这里简单介绍下实操性比较高的层次分析法和优序图法。

首先是层次分析法,该方法常被运用于多目标、多准则、多要素、多层次的非结构化的复杂决策问题,特别是战略决策问题。

其优点在于系统化、简洁实用,且所需定量数据信息较少,但它也存在缺点,比如说指标过多时,数据统计量大,且权重难以确定;特征值和特征向量的精确求法比较复杂。

该方法整体可分为三步:

一是基于问卷数据构造判断矩阵。具体而言,由专家对同一层次内n个指标的相对重要性(两两因素之间)进行打分。相对重要性的比例标度取1-9之间:

1表示两个指标具有相同重要性,3表示两个因素中,前者比后者稍重要,标度越高表示前者比后者的重要性程度越高。另外,若因素 i 与因素 j 的重要性之比为 aij,则因素 j 与因素 i 的重要性之比为aij 的倒数。

根据相对重要性打分,即可构建判断矩阵A。

第二步则是基于判断矩阵计算权重,将矩阵A的各行向量进行几何平均(方根法),然后进行归一化,得到各评价指标权重和特征向量W。

最后一步为一致性检验。所谓一致性是指判断思维的逻辑一致性(如当甲比丙是强烈重要,而乙比丙是稍微重要时,显然甲一定比乙重要。这就是判断思维的逻辑一致性,否则判断就会有矛盾)。一致性检验是指确定不一致的允许范围。通过一致性检验的权重值才是合理的。

可能层次分析法的权重计算和一致性检验原理比较复杂,但在实际应用过程中,可以利用市面上成熟的层次分析法工具来实现,如元决策的yaahp软件,导入问卷数据,系统即可自动计算出相应的权重并进行一致性检验。

然后是优序图法,该方法非常适合在参与评估指标数量较多(如需评估的指标超过5个)的情况下使用。当指标数量较多时,优序法的专家打分工作量相对较小,且简单已实操。但该方法也存在一定的弊端,如未进行一致性检验或多轮验证,权重数据的严谨性相对较差。

该方法整体可分为三步:

一是重要性打分,由每位专家独立对问卷内各指标进行重要性打分,并计算出各指标所有专家打分的平均分;

二是指标重要性比较,通过各指标的平均分,将不同指标间的平均分进行两两比较,其中,分数相同的计为0.5,相对较大的记为1,相对较小的记为0,并将各指标比较的每行分数相加,得到各指标的优序数(TTL);

最后则是对TTL值进行归一化处理,得到指标的权重值。

表|层次分析法和优序图法优缺点比较

3、谷歌 HEART-GSM 模型介绍

HEART-GSM模型包括【5】+【3】两个部分:5个用户体验度量维度和3个确定数据指标的步骤。

首先,代表5个用户体验度量维度的HEART模型由 Google 于 2010 年发表,是以用户为中心的度量模型,涵盖了用户主客观数据以及可用性指标,能够用于大范围的用户体验度量,五个维度分别为愉悦度、参与度、接受度、留存度和任务完成度。

  • 愉悦度指的是用户在使用过程中的主观感受,主要包括可用性、易用性、视觉感受、满意度、推荐意愿等维度;

  • 参与度衡量的是用户在产品/服务/功能中深度参与的表现,如访问频次、访问时长、互动深度或强度等;

  • 接受度是针对新用户的维度,统计有多少新用户接受了产品、功能,如特定时期内核心页面的PV、UV,新功能的使用留存;

  • 留存度是针对老用户的维度,衡量现有用户对产品的重复使用情况,常见指标如次日留存率、7日留存率等;

  • 任务完成度指用户在使用产品/服务/功能中能否顺利完成目标任务的情况,包括任务完成率、任务完成效率、错误率等指标。

图|HEART模型五大维度

为了将这个抽象的度量标准应用于实践,Google又提出以“目标(Goal)——信号(Signal)——指标(Metric)”的拆解流程来定义HEART指标数据,让使用该模型的产品团队,可以根据用户体验目标和业务目标,完成数据指标的选择,最终保证指标是服务于业务目标和用户体验的。

这三个大步骤又可细分为五个小步骤,首先是梳理业务流程,分析确定产品目标或者体验目标,接着,结合度量维度的定义和目标选取与实际业务流程贴合的度量维度,然后是选择可以显示目标成功或失败的信号,最后是从信号中提取适当选择的数据指标,并选取相应的度量方法进行追踪。

图|GSM拆解流程

整体而言,HEART模型的C端倾向较明显,并不完全适用于B端产品的体验度量,比如说,由于B端产品的业务性质,用户使用产品后较难因为个人使用的体验而在参与度、留存度及任务完成度上体现出差异。

图 | HEART-GSM模型优劣势

可能会有小伙伴对信号跟指标的区别不太清晰,这里说下我的理解:

在GSM模型中,目标、信号、指标之间是承接的关系。确定目标从而判断目标对应的信号,然后拆解为可量化的指标。信号是目标的分解,一个目标可以分解为多个信号(信号也可理解为目标对应的表现,目标的成功或者失败,如何作用在用户的行为之中,哪些行为、感受可以说明目标已经成功)。指标是信号的衡量标准,一个信号可以由多个指标来衡量。

举个例子:

  • 目标:智能搜索帮助用户查询结果  

  • 信号:更多的用户使用智能搜索 、用户对搜索到的结果很满意  

  • 指标:点击次数、满意度

4、蚂蚁金服 PTECH 模型

以HEART度量模型为基础,蚂蚁金服根据企业级产品现状和特征做了部分的补充和修正,推出了适用于企业级产品的PTECH模型。PTECH模型与HEART模型的主要区别在于:

  1. 将 NPS 改成用户主观满意度:NPS 对 C 类产品是一个很有效的指标,对于企业级中后台来说,往往由于企业产品的封闭内环、用户基数等众多原因,可能还是满意度来的更加有效;

  2. 不强调留存率:企业级产品用户往往没有太多的可选余地,因此留存率未必适合用来衡量用户对于产品的喜好;

  3. 参与度和接受度指标合并:对于企业级中后台系统,用户使用的目标性更强,TA 就是来完成某个任务(或者说 TA 就是来完成工作的)因此活跃度基本和产品能否满足用户的需求强相关。

  4. 增加了清晰度。

图| PTECH 模型框架

PTECH模型通过马斯洛需求金字塔理论推导出用户体验需要满足的5个层次,分别对应度量框架的五个维度,做到了定量与定性全覆盖。生理-安全-归属-尊重-自我实现五个层次分别对应:

  • P——能用,这产品稳定、无故障、性能好;

  • T——有用,这产品能够确定性地完成某些任务;

  • E——常用,这产品满足的是一个会被反复使用的真实诉求;

  • C——好用,这是一个专业成熟、交互友好、功能清晰的产品;

  • H——爱用,这是一个能让用户获得满足、成就感的产品。

图 | PTECH模型优劣势

以上就是本次文章的全部内容啦,篇幅有些长,划个重点回顾下吧~

划重点

1. 综合主客观指标的产品体验度量模型主要包括:UES模型、HEART-GSM模型、PTECH模型;

2. UES模型为综合运用主观和客观、定性和定量分析的度量体系,包含易用性、一致性、满意度、任务效率和性能5个度量维度,适用于技术类B端(云)产品的体验度量场景。

3. HEART-GSM模型包括【5】+【3】两个部分:5个用户体验度量维度——愉悦度、参与度、接受度、留存度和任务完成度、3个确定数据指标的步骤——目标(Goal)——信号(Signal)——指标(Metric)。

4. PTECH模型是基于HEART模型修订的,主要度量维度如下图:

问问
公众号二维码
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
问问
问问
发表文章3
问问运营笔记
运营知识分享 | 个人成长分享 | B端产品 公众号:问问运营笔记
确认要消耗 羽毛购买
6000字超全解读之云产品使用体验度量模型吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接