AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

Shopee 数据事件中心的设计和实现

  • 2019-08-15
  • 本文字数:890 字

    阅读完需:约 3 分钟

Shopee 数据事件中心的设计和实现

ArchSummit深圳2019大会上,林锋讲师做了《Shopee 数据事件中心的设计和实现》主题演讲,主要内容如下。


演讲简介


电商系统的业务需求复杂,包含许多不同的子系统,对一些数据的操作常常需要多个系统联动,也有在不同系统间同步数据的需求,导致不同系统之间紧密耦合。一些典型的场景如:


  1. 不同系统对订单数据有不同的查询需求,需要在数据库或 Elasticsearch 中维护多个不同维度的索引,并保证数据源与索引同步;

  2. 业务优化改造数据库表结构时,需要在切换过程中保证数据在新旧不同结构的数据表之间进行同步;

  3. 各个系统对核心数据如用户、商品信息等都有各自的缓存,需要在数据被修改时更新缓存或使缓存失效;

  4. 一些数据的修改会触发其他系统的操作,如卖家增加一个商品时需要自动在运营平台创建一个审核任务。


DEC (Data Event Center) 是 Shopee 的数据库事件订阅和任务执行平台,负责监听 MySQL 数据库数据变更事件,并根据用户配置对数据事件进行处理,执行数据同步、缓存同步、事件回调等不同类型的任务。通过 DEC 使用简单配置就可以实现上述不同的需求,从而提高研发效率,也使同一数据的不同使用方之间互相解耦。


本次演讲主要介绍 DEC 的系统设计和实现,以及我们是如何解决 DEC 实现过程中遇到的一系列技术挑战,包括如何实现系统整体的高可用性、可伸缩性和高性能,在不增加运维复杂度的情况下如何保证不同任务间的隔离,在复杂场景下如何保证数据的强一致性或最终一致性等。


演讲提纲


  1. 需求和应用场景;

  2. Shopee 数据库事件订阅系统演进;

  3. DEC 设计和实现;

  4. 实践中遇到的问题和解决方案;

  5. 未来规划。


听众受益点


  1. 了解数据库事件订阅和任务执行平台的应用场景、设计思路、实践中可能遇到的问题和解决方案;

  2. DEC 实现系统的高可用、可伸缩和数据一致性的思路可以作为设计其他分布式系统的参考。


讲师介绍


林锋


Shopee Engineering & Technology / 技术平台团队负责人


2012 年加入 Sea Group,目前在 Shopee Engineering & Technology 部门,担任 Shopee 技术平台团队负责人,负责容器平台、网关、中间件、服务网格等基础技术平台的建设。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-15 00:002981

评论

发布
暂无评论
发现更多内容

Macos最好用的数据分析工具:Tableau Desktop 2019

彩云

数据分析工具 Tableau Desktop 2019

论文开题报告怎么写?轻松掌握开题报告撰写攻略,附技术路线图模板!

彭宏豪95

流程图 大学生 在线白板 论文 绘图软件

最新demo版 | 如何0-1开发支付宝小程序之小程序如何上线(四)

盐焗代码虾

支付宝小程序 支付宝 经验分享 小程序发开

第29期 | GPTSecurity周报

云起无垠

多平台小程序编译适配,超级App的基建利器?

Speedoooo

小程序容器 超级app 小程序技术 小程序容器技术

网络爬虫用什么罗拉ROLA-IP代理IP比较好?

Geek_bf375d

存在即合理,低代码的探索之路

树上有只程序猿

软件开发 低代码 JNPF

程序员的软件开发帮手,低代码当仁不让

互联网工科生

软件开发 低代码 JNPF

情感语音识别的现状与未来趋势

数据堂

大模型的未来是垂直领域大模型

QE_LAB

大模型训练 大模型 ChatGPT

re:Invent 2023 开发者指南来了!@开发者们,Let's 构!

亚马逊云科技 (Amazon Web Services)

re:Invent 生成式人工智能 Amazon DeepRacer

如何降低API接口的使用成本和提高效率?

技术冰糖葫芦

API 文档

1688商品详情的API接口是什么?

技术冰糖葫芦

api 网关

Blender 4.0来了!看新版带来了哪些精彩的新功能!

Finovy Cloud

10年资深码农,聊聊程序员的35岁危机

伤感汤姆布利柏

程序员 面试 低代码 35岁危机

混合云案例:利用 Databend Cloud 高效加速私有 Databend 的策略与实施

Databend

Axure RP 9 9.0.0.3741中文授权

Geek_幻墨成诗

Axure RP 9 Axure RP 9汉化 Axure RP 9授权码 Axure RP 9破解版

app上架一直显示审核中状态要怎么处理?

单体架构、垂直应用架构、分布式、SOA、微服务之间有什么关系和区别

javaNice

Java 微服务

springboot整合分页插件

javaNice

Java

AIGC虽好,但不要“贪杯”哦!

安势信息

SCA工具 AIGC 开源代码安全

Shopee 数据事件中心的设计和实现_ArchSummit_林锋_InfoQ精选文章