自 2020 年来，网易数帆探索可视化低代码编程已两年有余，打造了 CodeWave 智能开发平台（原轻舟低代码平台）用于企业应用开发。然而，不少编程技术人员对这一领域还比较陌生。我们开设《低代码技术内幕》专栏，旨在讨论低代码编程领域中的困难、问题，以及高效的解决方案。本文为第四篇，将介绍基于净推荐值（Net Promoter Score，NPS）和结构方程模型（Structural Equation Model，SEM）方法的低代码用户体验管理体系。SEM 侧重从定量的方法，通过用户侧视角、数据驱动，量化各级指标对于 NPS 的贡献度（权重）。在本文中，我们将展示 SEM 在搭建指标体系中的关键步骤，并给出使用 SEM 结果改良用户体验的方法。
专栏内容回顾：
净推荐值、结构方程模型和它们的价值
我们首先简要地说明净推荐值和结构方程模型的价值，让读者对它们“是什么、有什么用”有一个比较具象的理解。
净推荐值和其价值
净推荐值（Net Promoter Score，缩写为 NPS）主要通过一个单一的问题，来测量用户 / 客户（后文简称用户）向他人推荐某个企业 / 产品 / 服务可能性。
具体的测量问题如下，向用户询问：
“您有多大的可能将 XX 产品和服务推荐给身边的同事或亲朋好友，0 分表示非常不推荐，10 分表示非常推荐”
按照用户不同的打分，将用户分成三组人群：
推荐者：打 9 和 10 分的用户；
被动者：打 7 和 8 分的用户；
贬损者：打分 0-6 分的用户。
最终产品 NPS = (推荐者人数 - 贬损者人数) / 受访者总人数。
已有许多研究表明，NPS 与商业结果强相关：提升 NPS 能有效降低客户流失率、提升复购率、提升市场占有率。例如：
美国云计算管理公司 Rackspace，其 NPS 监测数据显示，NPS 值提升 20% 后，客户流失率下降了 30%。
百度智能云 NPS 监测数据显示其 NPS 连续三年逐年提高，而其市场占有率也逐年上升。
Temkin Group 的研究结果显示：
客户的打分越高，越可能在这家公司产生购买行为，打分数与购买行为的 相关系数高达 0.81（相关系数绝对值的区间为 0-1，越接近 1 说明相关性越强。）
与贬损者相比：
推荐者的复购率是贬损者的 5 倍。
推荐者对公司行为的容错度是贬损者的 7 倍。
推荐者购买公司新品或者增值服务的可能性是贬损者的近 9 倍。
结构方程模型和其价值
在许多用户体验管理体系中，为了量化抽象概念，需要建构指标体系、确定各级指标权重，以 NPS 为核心的用户体验管理体系就是这样的一种分级指标体系。次级指标的拆解、指标的信效度、及其权重的准确性，就成为该项工作的重中之重。
由于产品不同，用户群体不同，对同一抽象概念所构建的指标体系，无论是在框架还是在权重分配上都会有差异，甚至大相径庭，不会有一个统一的方案。在一些垂直细分的行业内，部分指标系统的构建是通过访谈行业专家（如相关公司产品负责人）来进行归纳的，这些来自专家侧视角指标权重划分当然很重要，操作成本也相对简单，不失为一种高效的操作方法，但也可能存在专家意见不一、指标系统缺乏用户侧视角的问题。
结构方程模型（Structural Equation Model，简称 SEM）是基于变量的协方差矩阵来分析变量之间关系的一种统计方法，是多元数据分析的重要工具。它旨在使用反映潜变量和显变量之间关系的一组方程，来尽量缩小样本协方差矩阵与由模型估计出的协方差矩阵之间的差异。SEM 可以从显变量中推断潜变量、测试假设模型的正确性、提供修改模型的指导建议。与专家评分相比，SEM 弥补了缺乏用户视角的缺憾。
构建以 NPS 为核心的用户体验管理体系
低代码产品的用户体验管理体系的终极目标是达成商业结果、推动商业成单，因此我们使用了同商业结果强相关的 NPS 作为低代码的北极星指标和一级指标。
指标说明
NPS 会受多种因素的影响，我们通过专家访谈、用户调研、头脑风暴、桌面研究，最后梳理出 5 个二级指标——产品易用性、学习探索和求助、功能需求满足程度、性能感知、服务感知——作为低代码产品的核心驱动因素，以及 21 个三级指标作为测量指标。
低代码易用性指标的来源主要分为两大部分：第一部分主要结合了可视化编程领域的经典文献——《Usability Analysis of Visual Programming Environments: A ‘Cognitive Dimensions’ Framework》，它针对可视化编程系统提出的“认知维度”可用性分析框架，对科学地衡量与分析可视化编程系统很有帮助 [1]。第二部分则主要借鉴国内 B 端云计算产品的易用性研究成果，包括阿里云的《阿里云易用性量表》等。
“学习探索和求助”、“功能需求满足程度”、“性能感知和服务感知”这几个指标则主要通过专家访谈、用户调研、头脑风暴获取。
各级指标说明梳理如表 3-1 所示：
在一个三级指标体系中，抽象概念是结构方程模型中的潜变量，测量指标是显变量，维度（仍然是抽象的）也属于潜变量，同时，概念是内生变量，维度是外生变量，指标则是外生变量。因此，综合起来看，概念是内生潜变量，维度是外生潜变量，指标是外生显变量。
（第三级）测量指标的数据主要通过向用户询问对于该维度的满意度评价或态度得分来进行获取，其取值范围为 1-10，举个例子，帮助文档的的测量指标：您对低代码帮助文档的使用满意度如何评价，1 分表示非常不满意，10 分表示非常满意。
下图即为结构方程模型的路径分析示意图：
结构方程模型技术，针对主观建构的各种不同指标体系，以采集的客观数据为基础，对它们进行拟合、修正与评估，找出相对最准确、最简洁的指标体系，并通过拟合出来的 路径系数 来分配指标体系维度以及指标的权重 [2]。
低代码的 SEM 计算分析
注：由于公司数据的合规要求，本章涉及的指标系数、权重均为脱敏后数据，仅供方法参考。
在进行结构方程模型分析之前，须先进行指标的信度（reliability）检验和效度（validity）检验。因为如果指标的信度、效度条件无法满足，即便结构方程模型的结果成立，其结论依然是不能被接受的。
样本说明：研究者通过网易数帆 CodeWave 低代码大赛（SaaS 用户）、网易公司内部用户、外部私有化部署用户三个渠道，尽可能覆盖全不同的用户类型群体，共回收有效问卷 1000+。
指标的信度检验
学术界普遍采用内部一致性系数，即 Cronbach’s α 系数，来验证指标的信度。表 3-1 展示了模型中所涉及的潜变量的一致性系数（通过 SPSS 22.0 计算得出)。
Hair、Anderson、Tatham、Black 指出，内部一致性系数 大于 0.7 表明量表的可靠性较高；在探索性研究中，内部一致性系数可以小于 0.7，但应大于 0.6；本研究各个潜变量的 Cronbach’s α 系数处于 0.732-0.925（见表 4-2），均超过了 0.7，表明各个概念的量表都具有较高的可靠性。
指标的效度检验
统计学上，因子分析是检验指标结构效度的最常用方法。按照惯例，我们使用了 KMO 样本测度 和 巴特勒球形检验 来检验数据是否适合做因子分析。数据显示：产品易用性、学习探索和求助、功能需求满足程度、性能感知、服务感知五个构面数据的 KMO 值分别为 0.901、0.847、0.813、0.715、0.703。同时，各构面数据的巴特勒球形检验的卡方统计值（Sig）的显著性概率均小于 0.001。
学者 Kaiser 指出，当 KMO 值大于 0.6，则表示样本数据适合做因子分析，因此，本研究的样本数据适合做因子分析。
计算路径系数
在因子分析的基础上，我们利用 AMOS 22.0 软件进行结构方程的建模与运算。（没有统计软件时也可以用 R、Java 等语言编码计算。）
对方程模型进行路径分析，得到模型的方程分析、有效性和拟合优度等指标。研究计算结果参见下表（表中标准化路径系数为脱敏后数据）。
表：结构方程模型结果 注： *p < 0.05, **p <0.01, ***p < 0.001
模型路径系数如下图所示，图中的数值均为标准化路径系数（图中路径系数为脱敏后数据）
模型的调试和拟合优度
建立路径系数后，需要对模型的拟合优度进行评价。评价指标包括两类：
绝对匹配测试：其评价指标是只基于假设模型隐含的协方差矩阵和样本方差矩阵的指数，包括 CMIN/DF（卡方值比自由度）、P 值。CMIN/DF 小于 3 可以接受，但一般以小于 2 为宜（CMIN/DF 是直接检验样本协方差矩阵和估计协方差矩阵间相似程度的统计量，理论期望值为 1）；卡方检验中的 P 值一般要大于 0.05，表明结构方程模型对数据的拟合良好 [3] 。
相对匹配测试：评价标准为描述性指标，包括 GFI（拟合优度指标）、TLI（不规范拟合指数）、CFI（比较拟合指数）、RMSEA（近似误差的均方根）等。GFI、TLI、CFI 这些指标越接近 1，模型拟合得越好：如果这些指标都大于 0.9，表示观测数据支持假设构想，大于 0.95 则表示拟合非常好。RMSEA 一般要求不应超过 0.08 [3]。
本模型拟合度指标参见下表，可以认为设定模型能够较好的拟合样本数据。
指标权重计算
通过拟合优度检验后，我们需要确定二级指标、三级指标的权重，计算方式如下。
二级指标权重
利用上述模型所得路径系数大小，对各级指标进行权重分配。将五个二级指标（影响因素）的路径系数相加，每个维度的路径系数除以该值即为该维度的权重。产品易用性、学习探索和求助、功能需求满足程度、性能感知、服务感知的路径系数分别为 0.27、0.22、0.35、0.23、0.17，它们的和为 1.24，则关键业务操作体验的权重为 0.27/1.24 = 22%。以此类推，可计算出其他二级指标权重，二级指标权重之和为 100%，参见下表。
三级指标权重
以“上手难度”指标为例：
先算出“上手难度”对于用户体验指数（一级指标）的系数，该系数等于两个路径系数的乘积，即:0.81 * 0.27=0.219，记为 A1。
同理，可计算抽象坡度的系数 A2、文案信息的易理解性系数 A3……服务人员解决问题的能力系数 A21；
则“上手难度”此三级指标的权重 = A1 / (A1 + A2 + A3……A21)。
同理可计算出其它三级指标的权重，所有三级指标权重之和等于 100%。
另外，我们可以用已确立的权重，计算出相应的二级指标得分。例如，在我们的发放的问卷调研中，并没有直接测量产品易用性的得分（因为这是一个复合的抽象化概念，并不容易直接测量其得分），但现在我们可以通过 10 项指标和其相应的权重（由结构方程模型得出），然后计算出产品易用性的得分。
用户体验管理体系的运转
经过 SEM 建模计算后，我们便可以根据指标得分、指标对 NPS 的影响权重绘制二维散点图，并根据以下步骤优化产品。
1. 确定优化抓手：对 NPS 影响权重高 & 指标得分低
下图中的亟待改善区即为优化抓手：对 NPS 影响权重高，同时指标得分低
2. 识别优化抓手的核心驱动要素 & 用户触点
优化抓手通常是方向性问题，如性能问题，产品的上手门槛问题，后续则需要进一步通过用户调研或梳理用户已有反馈问题，定义好问题场景及范围，进而确认具体问题的优先级。
3. 推动优化举措落地
定义好高优先级体验问题后，相关业务方会根据实际情况进行优化、排期。
4. 效果验证、体验闭环
通过迭代的 NPS 和指标得分，验证改版或产品改进的效果。
SEM 的使用方式小结
根据业务领域和目标，选取一个一级指标（如净推荐值）。一级指标是抽象概念。
根据业务，以合适的方式（如专家访谈、用户调研、头脑风暴、桌面研究等）获取二级指标和三级指标。二级指标是维度，三级指标是测量指标。
对指标进行信度检验和效度检验。
通过结构方程模型，计算出各个二级指标、三级指标的标准化路径系数。
评估模型的拟合优度，调试模型，直到模型的各种参数符合相应标准。
计算各个二级指标、三级指标的权重。
总 结
本文介绍了基于 NPS 和 SEM 的低代码用户体验管理体系，它们引入了用户视角，一定程度解决了专家打分评估的主观性、随意性问题。文章通过低代码产品的例子，展示了 SEM 在搭建指标体系中的关键步骤：澄清与界定概念、建立指标体系、形成调查问卷、指标信效度检验、模型拟合与评估、权重分配等。
本文虽以低代码产品为例，但介绍的方法具有普适性，并不仅仅局限于低代码产品。
作者简介：
网易杭州研究院设计部，致力于为公司产品提供优质的用户体验设计，核心专业能力包括用户体验管理与业务增长，提供数字化转型、增长策略规划、品牌升级、体验创新等解决方案。
网易数帆编程语言实验室，负责 CodeWave 智能开发平台核心编程能力的设计，包括类型系统、语义语法、声明式编程、可视化交互等 NASL 的语言设计，Language Server、可视化引擎等，以及后续演进方案的规划和预研，旨在创造低门槛高上限的低代码开发体验。
参考文献
[1] Green T R G, Petre M. Usability analysis of visual programming environments: a ‘cognitive dimensions’ framework[J]. Journal of Visual Languages & Computing, 1996, 7(2): 131-174
[2] 武海东，用结构方程模型构建图书馆读者满意度评价指标体系 [J]，情报科学，2011,29(02):227-230
[3] 史雅翼，线性结构方程模型评价指标的应用 [J]，中国医院统计，2001,8(4):237-238
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论