Pallas-- 唯品会统一检索平台的演进和探索

阅读数:55 2019 年 9 月 14 日 17:11

Pallas--唯品会统一检索平台的演进和探索

ArchSummit 深圳 2018 大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。

演讲简介

电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。

如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。

本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出

  • 检索平台典型场景
  • ElasticSearch 优势缺陷分析
  • 业务团队痛点
  • 运维痛点

二、统一检索平台全面剖析

  1. 总体架构介绍
  2. Search 代理层核心问题及解决思路:
    • ES 检索服务如何实现同城 / 异地多活
    • 大集群、小集群如何取舍,公共集群如何实现业务隔离
    • 检索服务治理之鉴权,限流,超时,重试的实现方案
  3. 索引数据同步若干关键技术和架构:
    • E 索引数据同步方案架构
    • E 如何保证数据一致性、正确性、实时性
    • E 如何将多个数据源汇聚至单一索引
  4. 平台管理核心问题分析及黑科技:
    • EES 管理工具推荐和整合
    • E 如何管理动态模板,简化使用门槛

三、检索性能调优的方法和干货分享

四、ES 插件动态方案实现原理及黑科技:

如何做到无人值守升级,降低 ES 运维成本

五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;
  • 获得 ElasticSearch 检索性能调优的一些经验分享;
  • 听众自行搭建检索平台可能遇到的问题及解决思路。

讲师介绍

薛珂

唯品会 高级架构师

互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

Pallas--唯品会统一检索平台的演进和探索

完整演讲 PPT 下载链接

https://archsummit.infoq.cn/2018/shenzhen/schedule

收藏

评论

微博

用户头像
发表评论

注册/登录 InfoQ 发表评论