在ArchSummit北京2018大会上，李友科讲师做了《电商搜索系统质量保障体系建设》主题演讲，主要内容如下。

演讲简介：

背景：电商搜索的主要对象是商品，目标是用户精确找到商品，卖家有机会曝光商品，商城构建良好的生态。围绕这个三个核心业务指标，系统稳定、结果精确、研发效率、排序效果，既是电商搜索系统研发的目标，也是挑战。几个具体的例子，从规模上，有30多个搜索系统，服务3亿+活跃用户；数据量上，商品量数十亿；人员上，开发和测试比 12：1，北京、深圳和硅谷多地协调。

实施后效果：质量保障体系建设起来后，200+研发团队协同开发，平均每周上线40多个功能，平均迭代速度5-6天；其中算法ab，每天多次上线。快速把业务需求转化成收益，同时保证系统的稳定、业务的 KPI 和用户体验。

解决方案选型：质量保障体系有几个特点：服务化、自动化、智能化。服务化，解决是测试/开发占比低、异地协同的问题。自动化，主要是提高研发、测试和部署速度。智能化，主要是对搜索结果精确、排序效果的评估，发现业务 KPI 异常、badcase。

方案介绍：

服务化（platform as a service），提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。
自动化：完整的持续集成流水线，包括：precomit、component、deploy、test；为了提高部署效率，对AB集群搭建持续部署流水线。
智能化：是把人工标注的、用户投诉和反馈的体验问题，转化为人工智能识别的特征与标注类别，最终通过监督学习的方法进行模型训练，把训练好的模型用来检测搜索效果问题，最终人工对人工智能预测出的效果问题进行二次评价和处理，并反馈给模型持续训练。

另外，强调2点：一个是流程规范，一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付，是形成意识培养文化，服务化、自动化和智能化是帮助流程规范落地；整个质量保障体系，能否落地关键是可运维和可运营。

演讲提纲：

质量保障体系
电商搜索业务场景和问题挑战
电商搜索质量保障体系实践
- 3.1 服务化
- 3.2 自动化
- 3.3 智能化
电商搜索质量保障体系难点
- 规范流程制定和落地、可运营和可运维

听众受益点：

完整质量保障体系，特别互联网场景下实践
质量保障体系服务化、自动化和智能化落地
自动化测试和质量保障的经验总结

讲师介绍：

李友科

京东商城搜索与推荐平台部架构师

加入京东前，先后就职于中国电信、惠普、Yahoo!，参与过大型电信系统、Cloud 服务、搜索服务的研发、咨询、测试和质量保证工作。

完整演讲PPT下载链接：

https://archsummit.infoq.cn/2018/beijing/schedule

创作场景

电商搜索系统质量保障体系建设