贝壳-交易平台的质量分模型建设

「质量分」是贝壳-交易平台基于业务特点和关注的质量指标构建的质量数据指标模型。在质量数据汇总、分析的基础上，找到系统质量问题，以达到改进质量、提升人员意识的终极目标。

1. 为什么要做质量分模型？

因为研发过程中不同的角色对于质量的要求不一样：

当我们进行周期性的分析系统质量时，无法定量、直观获知质量情况，只能靠“优秀”、“一般”等概括性语言去说明质量情况。如：一周的质量情况怎样？月度、季度、半年等周期性的质量变化趋势是怎样的？线上质量怎么样？过程质量怎么样？

基于上面的问题、背景，为了避免靠感觉去感知、衡量质量好坏，因此需要借助数据，将质量的各项指标量化，这样才能更客观的反映产品的质量情况。

2. 业界质量度量体系现状是怎样的？

目前业界针对过程质量和效能的度量体系相对比较成熟，各大公司衡量的指标总结基本相差不是很大，具体可参考如下的指标：

美团研发度量体系

和业界相比，我们最大的亮点是基于业务关注的重点指标，构建业务线特有的质量模型，并采用「加权减分制」设计了相应的质量分模型，通过该数据模型可以更加直观的反映产品的质量变化情况，找到当前阶段的质量痛点。

3. 什么是质量分？

我们通常会将质量划分为线上质量和过程质量（也称为线下质量），然后抽象出可以衡量质量情况的关键指标。

抽象指标的过程是重新审视该业务线当前一段时间内重点关注的质量问题是什么，同时整合业界公认的通用指标，比如 ISO 9126 质量标准。

4. 如何确定指标？

依据于业界通用质量指标和业务线（交易平台）某段时期内重点关注的质量点，由点及面，抽象出交易平台的质量分模型。设定指标关注的重点是该指标可以真实的反应产品线上/过程质量情况，尤其对于那些影响范围较广、业务损失严重、问题重复发生的指标，需要增加权重，重点关注。而对于那些影响不是很大的指标，可以考虑减小权重。

5. 如何设定计算公式？

确定了指标之后，需要考虑具体的计算质量分的公式，既不能太复杂，也不能太简单。太复杂，大家不能理解，反而不利于团队整体达成一致；太简单，不能有效衡量质量情况。交易目前采用的是「加权减分制」。

具体规则如下：

针对线上问题的分数计算，本规则中尽量不包含处理手段类的指标，比如监控发现问题占比、慢 SQL 跟进率等指标，以保证指标尽可能准确的评估线上质量。

6. 方案实现

思路：

• 确定各种数据来源、获取数据的方式

• 贝壳内部数据源来源渠道比较多（keones,fast,xmen等平台）

• 确定数据清洗计算规则、存储方案

• 确定数据分析结果处理方案

• 确定数据展示方案

整体方案

7. 效果如何？

• 支持配置化：

• a. 分钟级完成某些指标的配置

• b. 支持个性化的配置

• 通过质量分可以直观的展示质量情况，重点关注KPI 类的指标数据

• 数据分析可沉淀积累，不断改善产品质量

• 已经在线上稳定运行一年多

• 积累200+项目复盘和改进措施

8. 如何借助数据控制风险？

举个例子：我们业务线 5-6 月份连续 2 次线上严重问题是由于代码的 bug 导致线上页面详情页不展示流程节点、页面白屏的问题，但是该类问题的发生均不是监控发现，而是由用户反馈或者内部反馈发现。针对这类问题我们进行了复盘，确定了做线上 UI 自动化巡检 topic，目前已经完成方案调研，持续补充 case 过程中。

9. 如何借助数据提升质量？

如何提升质量，需要具体问题具体分析，但通用的能力建设如下：

• 沉淀业务/技术能力

• 提升人员意识

• 增强质量运营

再结合实际的例子给大家介绍下，我们是如何通过质量分模型来提升产品的质量：在建设质量保障体系初期的时候，我们通过质量分模型，发现我们的线上问题解决时效不是很高，部分线上问题产生的原因是由于线下环境无法发现，但是线上验收不及时、线上验收方式不支持等原因导致，因此后续针对这两大类的问题，我们通过运营+技术的手段分别解决：

• 举办质量月活动：

• 通过运营的手段来提升研发人员意识问题，及时有效跟进线上问题；

• 虚拟城市建设：

• 支持线上环境的验收。

10. 写在最后

给质量打分，是我们在践行质量运营过程中的一种尝试。整个质量运营系列的文章内容一共分为五部分：1）质量分，2）全流程保障体系（keones 验收+虚拟城市验收），3）免测 ，4）质量月， 5）金 Bug。本文着重介绍了质量分的具体制定和实践，其他四部分后面会陆续与大家见面。如有问题或建议，欢迎留言。

本文转载自公众号贝壳产品技术（ID：beikeTC）。

原文链接：

贝壳-交易平台的质量分模型建设