电商搜索系统质量保障体系建设-InfoQ

在 ArchSummit 北京 2018 大会上，李友科讲师做了《电商搜索系统质量保障体系建设》主题演讲，主要内容如下。

演讲简介：

背景：电商搜索的主要对象是商品，目标是用户精确找到商品，卖家有机会曝光商品，商城构建良好的生态。围绕这个三个核心业务指标，系统稳定、结果精确、研发效率、排序效果，既是电商搜索系统研发的目标，也是挑战。几个具体的例子，从规模上，有 30 多个搜索系统，服务 3 亿 + 活跃用户；数据量上，商品量数十亿；人员上，开发和测试比 12：1，北京、深圳和硅谷多地协调。

实施后效果：质量保障体系建设起来后，200+ 研发团队协同开发，平均每周上线 40 多个功能，平均迭代速度 5-6 天；其中算法 ab，每天多次上线。快速把业务需求转化成收益，同时保证系统的稳定、业务的 KPI 和用户体验。

解决方案选型：质量保障体系有几个特点：服务化、自动化、智能化。服务化，解决是测试 / 开发占比低、异地协同的问题。自动化，主要是提高研发、测试和部署速度。智能化，主要是对搜索结果精确、排序效果的评估，发现业务 KPI 异常、badcase。

方案介绍：

服务化（platform as a service），提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。
自动化：完整的持续集成流水线，包括：precomit、component、deploy、test；为了提高部署效率，对 AB 集群搭建持续部署流水线。
智能化：是把人工标注的、用户投诉和反馈的体验问题，转化为人工智能识别的特征与标注类别，最终通过监督学习的方法进行模型训练，把训练好的模型用来检测搜索效果问题，最终人工对人工智能预测出的效果问题进行二次评价和处理，并反馈给模型持续训练。

另外，强调 2 点：一个是流程规范，一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付，是形成意识培养文化，服务化、自动化和智能化是帮助流程规范落地；整个质量保障体系，能否落地关键是可运维和可运营。

演讲提纲：