电商搜索系统质量保障体系建设

在ArchSummit北京2018大会上，李友科讲师做了《电商搜索系统质量保障体系建设》主题演讲，主要内容如下。

演讲简介：

背景：电商搜索的主要对象是商品，目标是用户精确找到商品，卖家有机会曝光商品，商城构建良好的生态。围绕这个三个核心业务指标，系统稳定、结果精确、研发效率、排序效果，既是电商搜索系统研发的目标，也是挑战。几个具体的例子，从规模上，有 30 多个搜索系统，服务 3 亿+活跃用户；数据量上，商品量数十亿；人员上，开发和测试比 12：1，北京、深圳和硅谷多地协调。

实施后效果：质量保障体系建设起来后，200+研发团队协同开发，平均每周上线 40 多个功能，平均迭代速度 5-6 天；其中算法 ab，每天多次上线。快速把业务需求转化成收益，同时保证系统的稳定、业务的 KPI 和用户体验。

解决方案选型：质量保障体系有几个特点：服务化、自动化、智能化。服务化，解决是 测试/开发占比低、异地协同的问题。自动化，主要是提高研发、测试和部署速度。智能化，主要是对搜索结果精确、排序效果的评估，发现业务 KPI 异常、badcase。

方案介绍：

• 服务化（platform as a service），提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。

• 自动化：完整的持续集成流水线，包括：precomit、component、deploy、test；为了提高部署效率，对 AB 集群搭建持续部署流水线。

• 智能化：是把人工标注的、用户投诉和反馈的体验问题，转化为人工智能识别的特征与标注类别，最终通过监督学习的方法进行模型训练，把训练好的模型用来检测搜索效果问题，最终人工对人工智能预测出的效果问题进行二次评价和处理，并反馈给模型持续训练。

另外，强调 2 点：一个是流程规范，一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付，是形成意识培养文化，服务化、自动化和智能化是帮助流程规范落地；整个质量保障体系，能否落地关键是可运维和可运营。

演讲提纲：

1. 质量保障体系

2. 电商搜索业务场景和问题挑战

3. 电商搜索质量保障体系实践

4. 3.1 服务化

5. 3.2 自动化

6. 3.3 智能化

7. 电商搜索质量保障体系难点

8. 规范流程制定和落地、可运营和可运维

听众受益点：

1. 完整质量保障体系，特别互联网场景下实践

2. 质量保障体系服务化、自动化和智能化落地

3. 自动化测试和质量保障的经验总结

讲师介绍：

李友科

京东 商城搜索与推荐平台部架构师

加入京东前，先后就职于中国电信、惠普、Yahoo!，参与过大型电信系统、Cloud 服务、搜索服务的研发、咨询、测试和质量保证工作。

完整演讲 PPT 下载链接：

https://archsummit.infoq.cn/2018/beijing/schedule