内容介绍

背景

电商搜索的主要对象是商品,目标是用户精确找到商品,卖家有机会曝光商品,商城构建良好的生态。围绕这个三个核心业务指标,系统稳定、结果精确、研发效率、排序效果,既是电商搜索系统研发的目标,也是挑战。几个具体的例子,从规模上,有 30 多个搜索系统,服务 3 亿 + 活跃用户;数据量上,商品量数十亿;人员上,开发和测试比 12:1,北京、深圳和硅谷多地协调。

实施后效果

质量保障体系建设起来后,200+ 研发团队协同开发,平均每周上线 40 多个功能,平均迭代速度 5-6 天;其中算法 ab,每天多次上线。快速把业务需求转化成收益,同时保证系统的稳定、业务的 KPI 和用户体验。

解决方案选型

质量保障体系有几个特点:服务化、自动化、智能化。服务化,解决是 测试 / 开发占比低、异地协同的问题。自动化,主要是提高研发、测试和部署速度。智能化,主要是对搜索结果精确、排序效果的评估,发现业务 KPI 异常、badcase。

方案介绍:

  • 服务化(platform as a service),提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。

  • 自动化:完整的持续集成流水线,包括:precomit、component、deploy、test;为了提高部署效率,对 AB 集群搭建持续部署流水线。

  • 智能化:是把人工标注的、用户投诉和反馈的体验问题,转化为人工智能识别的特征与标注类别,最终通过监督学习的方法进行模型训练,把训练好的模型用来检测搜索效果问题,最终人工对人工智能预测出的效果问题进行二次评价和处理,并反馈给模型持续训练。

另外,强调 2 点:一个是流程规范,一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付,是形成意识培养文化,服务化、自动化和智能化是帮助流程规范落地;整个质量保障体系,能否落地关键是可运维和可运营。

内容大纲

1、质量保障体系

2、电商搜索业务场景和问题挑战

3、电商搜索质量保障体系实践

  • 服务化
  • 自动化
  • 智能化

4、电商搜索质量保障体系难点

  • 规范流程制定和落地、可运营和可运维

听众受益:

1、完整质量保障体系,特别互联网场景下实践

2、质量保障体系服务化、自动化和智能化落地

3、自动化测试和质量保障的经验总结

评论

发布
暂无评论