阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

Pallas-- 唯品会统一检索平台的演进和探索

  • 2019-09-14
  • 本文字数:916 字

    阅读完需:约 3 分钟

Pallas--唯品会统一检索平台的演进和探索

ArchSummit深圳2018大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。


演讲简介


电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。


如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。


本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出


  • 检索平台典型场景

  • ElasticSearch 优势缺陷分析

  • 业务团队痛点

  • 运维痛点


二、统一检索平台全面剖析


  1. 总体架构介绍

  2. Search 代理层核心问题及解决思路:

  3. ES 检索服务如何实现同城/异地多活

  4. 大集群、小集群如何取舍,公共集群如何实现业务隔离

  5. 检索服务治理之鉴权,限流,超时,重试的实现方案

  6. 索引数据同步若干关键技术和架构:

  7. E 索引数据同步方案架构

  8. E 如何保证数据一致性、正确性、实时性

  9. E 如何将多个数据源汇聚至单一索引

  10. 平台管理核心问题分析及黑科技:

  11. EES 管理工具推荐和整合

  12. E 如何管理动态模板,简化使用门槛


三、检索性能调优的方法和干货分享


四、ES 插件动态方案实现原理及黑科技:


如何做到无人值守升级,降低 ES 运维成本


五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;

  • 获得 ElasticSearch 检索性能调优的一些经验分享;

  • 听众自行搭建检索平台可能遇到的问题及解决思路。


讲师介绍


薛珂


唯品会 高级架构师


互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:111191

评论

发布
暂无评论
发现更多内容

Mint Blockchain,一个聚焦在 NFT 领域的 L2 网络

NFT Research

NFT\ NFTScan Layer 2

【scikit-learn基础】--『数据加载』之样本生成器

EquatorCoco

Python 人工智能 机器学习

什么?通过 Prometheus 编写巡检脚本

TiDB 社区干货传送门

监控 实践案例 集群管理 管理与运维 故障排查/诊断

火山引擎的AI语音技术

淼.

现代皮质沙发材质编辑

3D建模设计

3D渲染 纹理处理 模型渲染 材质纹理 材质编辑

使用粗糙贴图制作粗纹皮革手提包3D模型

3D建模设计

3D渲染 纹理贴图 模型渲染 材质纹理 材质编辑

创新释放:Atlassian 人工智能引领现代工作

跟YY哥学Jira

人工智能 项目管理 Jira Confluence ChatGPT

on duplicate key update引发的索引数据不一致问题

TiDB 社区干货传送门

故障排查/诊断

【12 月 9 号线上 Meetup 预告】兼容 MySQL 的原生分布式数据库,聊聊 TiDB 为何是 MySQL 5.7 停服后的新选择

TiDB 社区干货传送门

社区活动

苹果电脑虚拟定位:AnyGo中文破解 for mac 修改手机定位就是如此简单

Rose

mac软件下载 AnyGo for Mac AnyGo破解版 虚拟定位工具 AnyGo中文版下载

【EMNLP 2023】基于大语言模型的复杂任务认知推理算法CogTree

阿里云大数据AI技术

TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

TiDB 社区干货传送门

新版本/特性解读

一文速览字节最新分布式操作系统KubeWharf

苏沐

运维 云原生 k8s 分布式操作系统 KubeWharf

2023年,用友BIP持续发展,引领企业数智化

用友BIP

矩阵起源与深圳大学达成专利开放认可合作,坚持科技是第一生产力

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

3D材质编辑:制作被火烧的木头

3D建模设计

3D渲染 材质贴图 纹理贴图 模型渲染 材质编辑

恢复的方式多种多样,总有一款适合你

TiDB 社区干货传送门

备份 & 恢复

React基础知识入门

小白Coding日志

前端 React

如何进行代码混淆?方法与常见工具介绍

从0到100TB,MatrixOne助您轻松应对

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

Python 案例实训教学,课程展示及结课存档优化|ModelWhale 版本更新

ModelWhale

人工智能 大数据 canvas 教学实训 模型服务

强大的系统活动监控器:iStat Menus 激活中文版最新

胖墩儿不胖y

系统监控工具 Mac电脑软件

什么是API数据接口该怎么使用?

Noah

OPPO ColorOS全球创客大赛总决赛在即 加速潘塔纳尔生态成型

Geek_2d6073

TiDB v7.5.0 LTS 升级必读 | 新特性补充说明

TiDB 社区干货传送门

版本升级 新版本/特性解读 7.x 实践

MCube动态化与原生工程结合最佳实践 | 京东云技术团队

京东科技开发者

前端 跨端 动态化 MCube

macos端好用的剪切板管理工具:Paste 激活中文版

mac大玩家j

Mac软件 剪切板工具 剪切板软件

利用法线贴图渲染逼真的3D老虎模型

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理 材质编辑

如何使用玻璃材质制作钻石3D模型

3D建模设计

3D渲染 纹理贴图 模型渲染 材质纹理 材质编辑

高效挖掘数据价值,天翼云分析型数据库TeleDB For AnalyticDB申请出战!

Geek_2d6073

MatrixOne完成与麒麟软件服务器操作系统的兼容互认

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

Pallas--唯品会统一检索平台的演进和探索_ArchSummit_薛珂_InfoQ精选文章