写点什么

Pallas-- 唯品会统一检索平台的演进和探索

  • 2019-09-14
  • 本文字数:916 字

    阅读完需:约 3 分钟

Pallas--唯品会统一检索平台的演进和探索

ArchSummit深圳2018大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。


演讲简介


电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。


如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。


本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出


  • 检索平台典型场景

  • ElasticSearch 优势缺陷分析

  • 业务团队痛点

  • 运维痛点


二、统一检索平台全面剖析


  1. 总体架构介绍

  2. Search 代理层核心问题及解决思路:

  3. ES 检索服务如何实现同城/异地多活

  4. 大集群、小集群如何取舍,公共集群如何实现业务隔离

  5. 检索服务治理之鉴权,限流,超时,重试的实现方案

  6. 索引数据同步若干关键技术和架构:

  7. E 索引数据同步方案架构

  8. E 如何保证数据一致性、正确性、实时性

  9. E 如何将多个数据源汇聚至单一索引

  10. 平台管理核心问题分析及黑科技:

  11. EES 管理工具推荐和整合

  12. E 如何管理动态模板,简化使用门槛


三、检索性能调优的方法和干货分享


四、ES 插件动态方案实现原理及黑科技:


如何做到无人值守升级,降低 ES 运维成本


五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;

  • 获得 ElasticSearch 检索性能调优的一些经验分享;

  • 听众自行搭建检索平台可能遇到的问题及解决思路。


讲师介绍


薛珂


唯品会 高级架构师


互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:111537

评论

发布
暂无评论
发现更多内容

Java中方法的定义和调用

共饮一杯无

Java 后端 10月月更

Wave-2 802.11ac SoC for Routers, Gateways and Access Points//IPQ4019,IPQ4029,Wallys

wallys-wifi6

IPQ4019 ipq4029

一个值得深思的话题:Wi-Fi 7的诞生会不会取代 5G 网络?

wljslmz

5G 无线技术 10月月更 WiFi7

Java中流程控制语句

共饮一杯无

Java 流程控制 10月月更

VUE 初学者基础知识

默默的成长

Vue 前端 10月月更

技术分享 | app自动化测试(Android)-- Capability 使用进阶

霍格沃兹测试开发学社

如何在 SAP BTP Java 应用里使用 SQLite 数据库

汪子熙

云原生 云平台 SAP 10月月更 btp

猜数字游戏

掘金安东尼

算法 10月月更

三方库移植之NAPI开发[1]—Hello OpenHarmony NAPI

离北况归

OpenHarmony

2022Q3消费级AR眼镜市场季度分析:国产品牌纷纷发力,市场全面启航

易观分析

科技 AR眼镜 季度报告

十大 CI/CD 安全风险(三)

SEAL安全

DevOps CI/CD DevSecOps 软件供应链安全

技术分享 | app自动化测试(Android)-- 特殊控件 Toast 识别

霍格沃兹测试开发学社

干货 | 接口自动化测试分层设计与实践总结

霍格沃兹测试开发学社

Qt | 视图便捷类的使用 QListWidget QTreeWidget QTableWidget

YOLO.

qt 10月月更 C++

搜索中常见数据结构与算法探究(二)

京东科技开发者

数据结构 算法 时间复杂度 KMP 算法与数据结构

StampedLock:一个并发编程中非常重要的票据锁

华为云开发者联盟

高并发 开发 华为云 企业号十月PK榜

Java基础(三)| switch、循环及Random详解

timerring

Java random Switch 循环 10月月更

技术分享 | app自动化测试(Android)--显式等待机制

霍格沃兹测试开发学社

技术分享 | app自动化测试(Android)-- 参数化用例

霍格沃兹测试开发学社

Qt | 便捷类中使用拖放功能 Drag

YOLO.

qt 10月月更 C++

启科量子开源量子编程框架 QuTrunk

启科量子开发者官方号

人工智能 开发工具 量子计算 量子技术 启科量子

十问分布式数据库:技术趋势、选型及标准思考

OceanBase 数据库

技术分享 | app自动化测试(Android)-- 属性获取与断言

霍格沃兹测试开发学社

【LeetCode】最长公共前缀Java题解

Albert

LeetCode 10月月更

EasyCV DataHub 提供多领域视觉数据集下载,助力模型生产

阿里云大数据AI技术

深度学习 开源 模型 计算机上视觉

记录第二天-Vue起步

默默的成长

前端 Vue 3 10月月更

6步搭建一个飞机大战游戏

华为云开发者联盟

云计算 软件开发 华为云 企业号十月PK榜

测试人生 | 疫情之下工资翻了2倍多,这4个月学习比工作8年学到的还多

霍格沃兹测试开发学社

Vue基础-插值表达式-数据驱动视图-指令系统

默默的成长

前端 Vue 3 10月月更

使用 Zpan 搭建低成本个人私有网盘,还不限速

华为云开发者联盟

云计算 华为云 网盘 企业号十月 PK 榜

笔记本电脑内卷之争:华硕4+4无忧保脱颖而出

极客天地

Pallas--唯品会统一检索平台的演进和探索_ArchSummit_薛珂_InfoQ精选文章