电商搜索系统质量保障体系建设

阅读数:176 2019 年 9 月 12 日 14:46

电商搜索系统质量保障体系建设

ArchSummit 北京 2018 大会上,李友科讲师做了《电商搜索系统质量保障体系建设》主题演讲,主要内容如下。

演讲简介

背景:电商搜索的主要对象是商品,目标是用户精确找到商品,卖家有机会曝光商品,商城构建良好的生态。围绕这个三个核心业务指标,系统稳定、结果精确、研发效率、排序效果,既是电商搜索系统研发的目标,也是挑战。几个具体的例子,从规模上,有 30 多个搜索系统,服务 3 亿 + 活跃用户;数据量上,商品量数十亿;人员上,开发和测试比 12:1,北京、深圳和硅谷多地协调。

实施后效果:质量保障体系建设起来后,200+ 研发团队协同开发,平均每周上线 40 多个功能,平均迭代速度 5-6 天;其中算法 ab,每天多次上线。快速把业务需求转化成收益,同时保证系统的稳定、业务的 KPI 和用户体验。

解决方案选型:质量保障体系有几个特点:服务化、自动化、智能化。服务化,解决是 测试 / 开发占比低、异地协同的问题。自动化,主要是提高研发、测试和部署速度。智能化,主要是对搜索结果精确、排序效果的评估,发现业务 KPI 异常、badcase。

方案介绍:

  • 服务化(platform as a service),提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。
  • 自动化:完整的持续集成流水线,包括:precomit、component、deploy、test;为了提高部署效率,对 AB 集群搭建持续部署流水线。
  • 智能化:是把人工标注的、用户投诉和反馈的体验问题,转化为人工智能识别的特征与标注类别,最终通过监督学习的方法进行模型训练,把训练好的模型用来检测搜索效果问题,最终人工对人工智能预测出的效果问题进行二次评价和处理,并反馈给模型持续训练。

另外,强调 2 点:一个是流程规范,一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付,是形成意识培养文化,服务化、自动化和智能化是帮助流程规范落地;整个质量保障体系,能否落地关键是可运维和可运营。

演讲提纲

  1. 质量保障体系
  2. 电商搜索业务场景和问题挑战
  3. 电商搜索质量保障体系实践
    • 3.1 服务化
    • 3.2 自动化
    • 3.3 智能化
  4. 电商搜索质量保障体系难点
    • 规范流程制定和落地、可运营和可运维

听众受益点

  1. 完整质量保障体系,特别互联网场景下实践
  2. 质量保障体系服务化、自动化和智能化落地
  3. 自动化测试和质量保障的经验总结

讲师介绍

李友科

京东 商城搜索与推荐平台部架构师

加入京东前,先后就职于中国电信、惠普、Yahoo!,参与过大型电信系统、Cloud 服务、搜索服务的研发、咨询、测试和质量保证工作。

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

电商搜索系统质量保障体系建设

完整演讲 PPT 下载链接

https://archsummit.infoq.cn/2018/beijing/schedule

评论

发布