50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

Pallas-- 唯品会统一检索平台的演进和探索

  • 2019-09-14
  • 本文字数:916 字

    阅读完需:约 3 分钟

Pallas--唯品会统一检索平台的演进和探索

ArchSummit深圳2018大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。


演讲简介


电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。


如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。


本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出


  • 检索平台典型场景

  • ElasticSearch 优势缺陷分析

  • 业务团队痛点

  • 运维痛点


二、统一检索平台全面剖析


  1. 总体架构介绍

  2. Search 代理层核心问题及解决思路:

  3. ES 检索服务如何实现同城/异地多活

  4. 大集群、小集群如何取舍,公共集群如何实现业务隔离

  5. 检索服务治理之鉴权,限流,超时,重试的实现方案

  6. 索引数据同步若干关键技术和架构:

  7. E 索引数据同步方案架构

  8. E 如何保证数据一致性、正确性、实时性

  9. E 如何将多个数据源汇聚至单一索引

  10. 平台管理核心问题分析及黑科技:

  11. EES 管理工具推荐和整合

  12. E 如何管理动态模板,简化使用门槛


三、检索性能调优的方法和干货分享


四、ES 插件动态方案实现原理及黑科技:


如何做到无人值守升级,降低 ES 运维成本


五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;

  • 获得 ElasticSearch 检索性能调优的一些经验分享;

  • 听众自行搭建检索平台可能遇到的问题及解决思路。


讲师介绍


薛珂


唯品会 高级架构师


互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:111494

评论

发布
暂无评论
发现更多内容

IoT 设备定位服务——设备管理类

阿里云AIoT

物联网 API 定位技术

从recat源码角度看setState流程

flyzz177

React

高级前端一面必会react面试题(持续更新中)

beifeng1996

React

前端vue面试题汇总

bb_xiaxia1998

Vue

高级前端一面经典手写面试题汇总

helloworld1024fd

JavaScript

React-Hooks源码深度解读

flyzz177

React

当云原生成为一种显学,对象存储和数据湖如何顺势而为

云布道师

对象存储 云存储

多线程永动任务设计与实现

小小怪下士

Java 多线程

2022 年度“用 TDengine,写 TDengine”征文!

爱倒腾的程序员

数据库 tdengine 时序数据库

保护客户代码和应用安全,CodeArts有7招

华为云开发者联盟

云计算 后端 华为云 12 月 PK 榜 华为CodeArts

每日一题之Vue的异步更新实现原理是怎样的?

bb_xiaxia1998

Vue

看透react源码之感受react的进化

flyzz177

React

前端leetcde算法面试套路之双指针

js2030code

JavaScript LeetCode

前端常见内存泄漏及解决方法

达摩

Web 内存泄露

基于云原生的集群自愈系统 Flink Cluster Inspector

阿里云大数据AI技术

机器学习 flink 运维 云原生 12 月 PK 榜

预训练时代的自然语言处理 魔搭社区NLP模型全解析

阿里技术

自然语言处理 NLP 大模型

写个JS深拷贝,面试备用

helloworld1024fd

JavaScript

前端高频手写面试题集锦

helloworld1024fd

JavaScript

从react源码看hooks的原理

flyzz177

React

前端leetcde算法面试套路之二叉树

js2030code

超大规模大数据集群管理平台的架构优化及实践

移动云大数据

React源码分析(一)Fiber

flyzz177

React

Python中图像平滑方法的两种非线性滤波:中值滤波、双边滤波

华为云开发者联盟

Python 人工智能 华为云 12 月 PK 榜

转转用户画像平台实践

转转技术团队

大数据 用户画像 用户画像分析

假如面试官要你手写一个promise

helloworld1024fd

JavaScript

从源码角度看React-Hydrate原理

flyzz177

React

鸿蒙开发实例 | 鸿蒙原子化服务卡片开发完美体验

TiAmo

华为 鸿蒙 12月月更

Go语言性能剖析利器--pprof实战

京东科技开发者

Go pprof 优化技巧 Go 语言 #go

“零容忍”监管,金融机构如何应对数据泄露风险?

极盾科技

数据安全

每日一题之Vue数据劫持原理是什么?

bb_xiaxia1998

Vue

轻量级的架构决策记录机制

京东科技开发者

团队管理 架构 软件架构 架构设计 架构决策

Pallas--唯品会统一检索平台的演进和探索_ArchSummit_薛珂_InfoQ精选文章