在 ArchSummit 北京 2018 大会上，李友科讲师做了《电商搜索系统质量保障体系建设》主题演讲，主要内容如下。
演讲简介：
背景：电商搜索的主要对象是商品，目标是用户精确找到商品，卖家有机会曝光商品，商城构建良好的生态。围绕这个三个核心业务指标，系统稳定、结果精确、研发效率、排序效果，既是电商搜索系统研发的目标，也是挑战。几个具体的例子，从规模上，有 30 多个搜索系统，服务 3 亿 + 活跃用户；数据量上，商品量数十亿；人员上，开发和测试比 12：1，北京、深圳和硅谷多地协调。
实施后效果：质量保障体系建设起来后，200+ 研发团队协同开发，平均每周上线 40 多个功能，平均迭代速度 5-6 天；其中算法 ab，每天多次上线。快速把业务需求转化成收益，同时保证系统的稳定、业务的 KPI 和用户体验。
解决方案选型：质量保障体系有几个特点：服务化、自动化、智能化。服务化，解决是 测试 / 开发占比低、异地协同的问题。自动化，主要是提高研发、测试和部署速度。智能化，主要是对搜索结果精确、排序效果的评估，发现业务 KPI 异常、badcase。
方案介绍：
- 服务化（platform as a service），提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。
- 自动化：完整的持续集成流水线，包括：precomit、component、deploy、test；为了提高部署效率，对 AB 集群搭建持续部署流水线。
- 智能化：是把人工标注的、用户投诉和反馈的体验问题，转化为人工智能识别的特征与标注类别，最终通过监督学习的方法进行模型训练，把训练好的模型用来检测搜索效果问题，最终人工对人工智能预测出的效果问题进行二次评价和处理，并反馈给模型持续训练。
另外，强调 2 点：一个是流程规范，一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付，是形成意识培养文化，服务化、自动化和智能化是帮助流程规范落地；整个质量保障体系，能否落地关键是可运维和可运营。
演讲提纲：
- 质量保障体系
- 电商搜索业务场景和问题挑战
- 电商搜索质量保障体系实践
- 3.1 服务化
- 3.2 自动化
- 3.3 智能化
- 电商搜索质量保障体系难点
- 规范流程制定和落地、可运营和可运维
听众受益点：
- 完整质量保障体系，特别互联网场景下实践
- 质量保障体系服务化、自动化和智能化落地
- 自动化测试和质量保障的经验总结
讲师介绍：
李友科
京东 商城搜索与推荐平台部架构师
加入京东前，先后就职于中国电信、惠普、Yahoo!，参与过大型电信系统、Cloud 服务、搜索服务的研发、咨询、测试和质量保证工作。
完整演讲 PPT 下载链接：
评论