在 ArchSummit 深圳 2019 大会上，林锋讲师做了《Shopee 数据事件中心的设计和实现》主题演讲，主要内容如下。
演讲简介：
电商系统的业务需求复杂，包含许多不同的子系统，对一些数据的操作常常需要多个系统联动，也有在不同系统间同步数据的需求，导致不同系统之间紧密耦合。一些典型的场景如：
- 不同系统对订单数据有不同的查询需求，需要在数据库或 Elasticsearch 中维护多个不同维度的索引，并保证数据源与索引同步；
- 业务优化改造数据库表结构时，需要在切换过程中保证数据在新旧不同结构的数据表之间进行同步；
- 各个系统对核心数据如用户、商品信息等都有各自的缓存，需要在数据被修改时更新缓存或使缓存失效；
- 一些数据的修改会触发其他系统的操作，如卖家增加一个商品时需要自动在运营平台创建一个审核任务。
DEC (Data Event Center) 是 Shopee 的数据库事件订阅和任务执行平台，负责监听 MySQL 数据库数据变更事件，并根据用户配置对数据事件进行处理，执行数据同步、缓存同步、事件回调等不同类型的任务。通过 DEC 使用简单配置就可以实现上述不同的需求，从而提高研发效率，也使同一数据的不同使用方之间互相解耦。
本次演讲主要介绍 DEC 的系统设计和实现，以及我们是如何解决 DEC 实现过程中遇到的一系列技术挑战，包括如何实现系统整体的高可用性、可伸缩性和高性能，在不增加运维复杂度的情况下如何保证不同任务间的隔离，在复杂场景下如何保证数据的强一致性或最终一致性等。
演讲提纲：
- 需求和应用场景；
- Shopee 数据库事件订阅系统演进；
- DEC 设计和实现；
- 实践中遇到的问题和解决方案；
- 未来规划。
听众受益点：
- 了解数据库事件订阅和任务执行平台的应用场景、设计思路、实践中可能遇到的问题和解决方案；
- DEC 实现系统的高可用、可伸缩和数据一致性的思路可以作为设计其他分布式系统的参考。
讲师介绍：
林锋
Shopee Engineering & Technology / 技术平台团队负责人
2012 年加入 Sea Group，目前在 Shopee Engineering & Technology 部门，担任 Shopee 技术平台团队负责人，负责容器平台、网关、中间件、服务网格等基础技术平台的建设。
完整演讲 PPT 下载链接：
评论