写点什么

电商搜索系统质量保障体系建设

  • 2019-09-12
  • 本文字数:1063 字

    阅读完需:约 3 分钟

电商搜索系统质量保障体系建设

ArchSummit北京2018大会上,李友科讲师做了《电商搜索系统质量保障体系建设》主题演讲,主要内容如下。


演讲简介


背景:电商搜索的主要对象是商品,目标是用户精确找到商品,卖家有机会曝光商品,商城构建良好的生态。围绕这个三个核心业务指标,系统稳定、结果精确、研发效率、排序效果,既是电商搜索系统研发的目标,也是挑战。几个具体的例子,从规模上,有 30 多个搜索系统,服务 3 亿+活跃用户;数据量上,商品量数十亿;人员上,开发和测试比 12:1,北京、深圳和硅谷多地协调。


实施后效果:质量保障体系建设起来后,200+研发团队协同开发,平均每周上线 40 多个功能,平均迭代速度 5-6 天;其中算法 ab,每天多次上线。快速把业务需求转化成收益,同时保证系统的稳定、业务的 KPI 和用户体验。


解决方案选型:质量保障体系有几个特点:服务化、自动化、智能化。服务化,解决是 测试/开发占比低、异地协同的问题。自动化,主要是提高研发、测试和部署速度。智能化,主要是对搜索结果精确、排序效果的评估,发现业务 KPI 异常、badcase。


方案介绍:


  • 服务化(platform as a service),提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。

  • 自动化:完整的持续集成流水线,包括:precomit、component、deploy、test;为了提高部署效率,对 AB 集群搭建持续部署流水线。

  • 智能化:是把人工标注的、用户投诉和反馈的体验问题,转化为人工智能识别的特征与标注类别,最终通过监督学习的方法进行模型训练,把训练好的模型用来检测搜索效果问题,最终人工对人工智能预测出的效果问题进行二次评价和处理,并反馈给模型持续训练。


另外,强调 2 点:一个是流程规范,一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付,是形成意识培养文化,服务化、自动化和智能化是帮助流程规范落地;整个质量保障体系,能否落地关键是可运维和可运营。


演讲提纲


  1. 质量保障体系

  2. 电商搜索业务场景和问题挑战

  3. 电商搜索质量保障体系实践

  4. 3.1 服务化

  5. 3.2 自动化

  6. 3.3 智能化

  7. 电商搜索质量保障体系难点

  8. 规范流程制定和落地、可运营和可运维


听众受益点


  1. 完整质量保障体系,特别互联网场景下实践

  2. 质量保障体系服务化、自动化和智能化落地

  3. 自动化测试和质量保障的经验总结


讲师介绍


李友科


京东 商城搜索与推荐平台部架构师


加入京东前,先后就职于中国电信、惠普、Yahoo!,参与过大型电信系统、Cloud 服务、搜索服务的研发、咨询、测试和质量保证工作。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-12 14:462025

评论

发布
暂无评论
发现更多内容

从 MLOps 到 LMOps 的关键技术嬗变

Baidu AICLOUD

大模型 LLMOps 千帆大模型平台 LMops

电脑网站支付报错“验签出错,建议检查签名字符串或私钥与应用公钥是否匹配”问题解决记录

盐焗代码虾

Java 支付宝报错 排查思路

医院智慧运营管理转型,到底应该如何推动?

用友BIP

营销数智化解析第3期:促销、信用、费用、返利管理

用友BIP

数智营销

应用架构的演进 I 使用无服务器保证数据一致性

亚马逊云科技 (Amazon Web Services)

Serverless 微服务 Amazon DynamoDB Amazon Step Functions

大模型在数据分析场景下的能力评测|进阶篇

Kyligence

数据分析 指标平台

五大场景,助力煤炭行业设备资产数智化管理

用友BIP

资产管理

数据查询慢?别着急,读个执行计划定位优化下

NebulaGraph

性能优化 图数据库 NebulaGraph

用友力量!三峡、中粮、云投等众多央国企成功上线数智化领先实践项目

用友BIP

企业数智化

【云栖2023】姜伟华:Hologres Serverless之路——揭秘弹性计算组

阿里云大数据AI技术

大数据

零一万物回应「抄袭 LLaMA」;京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85

声网

香港服务器助您实现在线业务的成功之路

一只扑棱蛾子

香港服务器

「智造」第7期:浅谈工业生产设备采集方式

用友BIP

智能制造

光纤接入网的方式有哪几种?

小魏写代码

从“用数据说话”到“让数据说话”,全面数据服务焕发酒店生意新生

用友BIP

数据资产

IntelliJ IDEA插件开发入门实战

树上有只程序猿

IntelliJ IDEA

2023贡献者、开源项目评选正式启动!

开放原子开源基金会

我终于学会的前端技能——代码调试、打断点

小白Coding日志

Vue 前端 vscode JavaScrip debugger

基于 Amazon EKS 搭建开源向量数据库 Milvus

亚马逊云科技 (Amazon Web Services)

向量数据库 大语言模型

图像和文档透明显示软件 Overlay激活版最新

胖墩儿不胖y

Mac软件

【专家观点】社会化架构支撑产业链服务

用友BIP

产业链

用PHP使用API接口获取虾皮商品详情

Noah

C++异常处理:如何使用try、catch、throw

互联网工科生

C++

电商搜索系统质量保障体系建设_ArchSummit_李友科_InfoQ精选文章