写点什么

Pallas-- 唯品会统一检索平台的演进和探索

  • 2019-09-14
  • 本文字数:916 字

    阅读完需:约 3 分钟

Pallas--唯品会统一检索平台的演进和探索

ArchSummit深圳2018大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。


演讲简介


电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。


如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。


本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出


  • 检索平台典型场景

  • ElasticSearch 优势缺陷分析

  • 业务团队痛点

  • 运维痛点


二、统一检索平台全面剖析


  1. 总体架构介绍

  2. Search 代理层核心问题及解决思路:

  3. ES 检索服务如何实现同城/异地多活

  4. 大集群、小集群如何取舍,公共集群如何实现业务隔离

  5. 检索服务治理之鉴权,限流,超时,重试的实现方案

  6. 索引数据同步若干关键技术和架构:

  7. E 索引数据同步方案架构

  8. E 如何保证数据一致性、正确性、实时性

  9. E 如何将多个数据源汇聚至单一索引

  10. 平台管理核心问题分析及黑科技:

  11. EES 管理工具推荐和整合

  12. E 如何管理动态模板,简化使用门槛


三、检索性能调优的方法和干货分享


四、ES 插件动态方案实现原理及黑科技:


如何做到无人值守升级,降低 ES 运维成本


五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;

  • 获得 ElasticSearch 检索性能调优的一些经验分享;

  • 听众自行搭建检索平台可能遇到的问题及解决思路。


讲师介绍


薛珂


唯品会 高级架构师


互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:111514

评论

发布
暂无评论
发现更多内容

Pandas入门教程-Series类型数据

Peter

Python 数据分析 数据 pandas

【Vue2.x 源码学习】第二十二篇 - dep 和 watcher 关联

Brave

源码 vue2 8月日更

从 Druid 控制台(Druid console)中进行查询

HoneyMoose

波宝TronLink钱包APP系统开发介绍

Geek_23f0c3

钱包系统开发 DAPP智能合约交易系统开发 波宝钱包

【LeetCode】矩阵中战斗力最弱的 K 行Java题解

Albert

算法 LeetCode 8月日更

缓存使用的一些问题

旺仔大菜包

redis

啊哈!这段时间的学习感受

Nydia

8月日更

招商银行信用卡卡号识别项目(第一篇),Python OpenCV 图像处理取经之旅第 53 篇

梦想橡皮擦

8月日更

Rust从0到1-模式-使用场景

rust 模式 Patterns Matching

ECMAScript 2020(ES11)新特性简介

程序那些事

JavaScript ecmascript nodejs ES11 程序那些事

Git的基本操作

卢卡多多

git flow git reset 8月日更

具备货币属性的比特币,会成为一种货币吗?

CECBC

在线短视频缩略图剪切工具

入门小站

工具

架构实战营-毕业设计

En wei

架构实战营

FastApi-01-初识

Python研究所

FastApi 8月日更

☕️【系统设计】如何设计出优雅且实用的API接口

李尚智

Java 架构设计 架构设计实战

服装生产流程管理在明道云的实现

明道云

做行业的底层架构者 为区块链+提供更多可能

CECBC

Linux中Shell重定向

入门小站

Linux

外包学生管理系统架构设计文档

君子意如何

架构师训练营第 1 期 「架构师训练营第 1 期」

docker部署redis记录,楼主亲测无异常

小鲍侃java

8月日更

几百行代码写个Mybatis,原理搞的透透的!

小傅哥

Java spring 源码 mybatis 代理

pyinstaller 打包

橙橙橙橙汁丶

02-架构图

Lane

Seldon 使用 (五): engine & graph

托内多

tensorflow kubeflow seldon

【Flutter 专题】79 图解 Android Native 集成 FlutterBoost 小尝试 (二)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

Pandas入门教程-开篇之作

Peter

Python pandas 数据分析师 #python

分布式存储系统可靠性:系统量化估算

vivo互联网技术

分布式存储

大数据训练营 -0725 课后作业

cc

架构实战营毕业总结

En wei

架构实战营

解密NFT,进军元宇宙,区块链与价值实体将如何链接?

CECBC

Pallas--唯品会统一检索平台的演进和探索_ArchSummit_薛珂_InfoQ精选文章