写点什么

使用 2-3 法则设计分布式数据访问层

  • 2015-02-07
  • 本文字数:2097 字

    阅读完需:约 7 分钟

【编者按】《博文共赏》是 InfoQ 中文站新推出的一个专栏,精选来自国内外技术社区和个人博客上的技术文章,让更多的读者朋友受益,本栏目转载的内容都经过原作者授权。文章推荐可以发送邮件到 editors@cn.infoq.com

引言

如今移动互联网行业呈爆发式发展,随着业务用户规模和业务逻辑趋向复杂,后端系统的开发和维护变得越来越困难,目前业界涌现出各种各样的技术文章介绍分布式缓存设计、分布式数据库设计、负载均衡、HA 策略等等,这些都是支撑分布式数据访问层的基石,不过,本文将从另一个角度探讨分布式数据访问层 (Data Access Layer) 的框架设计。

本文要介绍的是 2-3 法则(2 个维度,3 个原则)在分布式 DAL 框架设计中的指导作用,两者共同完成 DAL 层封装,主要分为两点:1)从水平与垂直维度正交分析业务系统设计;2)定义 3 条必须遵守的设计原则,最重要的是 DAL 层从水平维度抽象数据访问策略模型,即个 3 原则中的第 3 条。

本文最后一节,对分布式数据访问框架做了探讨,提出了两种实现思路。

分布式 DAL 解决的问题

在分布式系统中,每一台服务器都需要访问本地缓存、分布式 MC 缓存、分布式后台数据库,对于同一个业务模块,随着业务变复杂,需要定义越来越多的数据 Model,按照一定的规则存储在本地缓存、分布式缓存以及后台数据库中。

目前,业界的数据访问层定位于应用程序与持久化数据库之间,比如淘宝的 TDDL、IBatis Sharding 等,主要完成数据的分库分表、读写分离等,本文的数据存储涵盖缓存、数据库、文件系统,现有的数据库 DAL 中间件、Redis 客户端、MC 客户端将作为本文的水平维度的 Adaptor,主要解决的问题:

  1. 数据访问在水平数据存储维度的一致性问题。
  2. 快速增加数据 Model 的能力。
  3. 优雅、清晰、模块化的数据访问层代码。

两个维度抽象设计

对于上节的问题,下面列举了水平和垂直维度抽象思考的例子。

假设水平维度:

  1. 部分热数据存储在本地缓存,本文使用 EhCache。
  2. 部分热数据存储在前端缓存,本文使用 MC。
  3. 全量数据存储在数据库缓存,本文使用 MySQL。

假设垂直维度:

  • 数据模型 FileMeta,需要同时存储在 LocalCache、Redis 和 MySQL 中。
  • 数据模型 BlockMeta,需要存储在 LocalCache、MC 中。
  • 数据模型 Context,需要存储在 MC、MySQL 中。

按照上面的分析,我们画出系统两个维度正交设计图,如下:

Composition 而不是 Inheritance

我们可以想到垂直维度定义 N = 3 个数据模型接口,水平维度定义 N = 3 个分层接口,但是水平维度和垂直维度是什么关系呢?

在本文的设计中,对问题做了进一步思考,水平维度的接口全部由垂直维度的数据模型接口组合(Composition)而成,完成所有业务只需要定义 N + M + 1 个接口,而不是 N * M + 1 个接口,多余的那个是 DAL 接口,完成数据访问层封装工作,第一节例子中的接口定义见下图:

设计原则

上节主要介绍了接口设计,这里说一下实现,数据模型类非常简单,只要 MC Client、TDDL、EhCache 在不同层完成相应接口实现,最重要的是 DAL 实现类,需要完成水平各个维度的策略存储,比如对一个 Model,顺序写入 MC 和 MySQL,根据业务实践经验,总结出 3 条设计原则:

  1. 每一个数据模型都有 CRUD 方法,即数据操作的增删改查,对于 MC 或者 LocalCache 来说,增加操作和修改操作可能是一致的,这种情况也必须严格定义 CRUD 方法。
  2. DAL 层封装所有的数据访问,保证数据的一致性存储和可靠性,DAL 层的实现调用 ILocalCacheService、IMCService、IDAOService,根据不同数据模型的存储策略,分别去调用缓存和数据库服务,数据模型如果仅存在 MySQL 或者 MC,也需要在 DAL 层做封装,这样虽然对开发效率有一定影响,但是整体开发和维护成本降低很多。
  3. DAL 实现抽象出一个 DALContext 和一个 Executor,对于不同的数据模型,配置出不同的 DALContext,比如顺序存储在 MC 和 MySQL 或者同步写入 MC 异步写入 MySQL,DAL 也需要负责出错处理、水平维度的容灾切换等。

分布式数据访问框架

对于互联网后端应用来说,最主要的功能就是处理数据,对 DAL 层的探索与优化是非常有价值的,基于本文提出的 2-3 法则,感兴趣的读者可以构建一个 DAL 开源项目,有两种思路。

第一种思路是:

  1. 定义数据模型以及存储配置策略规范,可以使用类似 protobuf 的规范。
  2. 根据业务定义的数据模型和存储配置策略,生成业务代码。
  3. 开发者在此基础上扩充完善业务代码。

第二种思路是:

  1. 定义数据模型以及存储配置策略规范,可以使用类似 protobuf 的规范。
  2. 开发 DAL 中间件(容器),根据业务定义的数据模型和存储配置策略,运行时完成所有的数据访问操作代理。

第一种相对容易,第二种比较复杂,读者可以自己选择其中一种。

本文首发于“微博平台架构”微信公众号,发布时有少量的文字润色和调整。

关于作者

卫向军( @卫向军 _ 微博),毕业于北京邮电大学,现任微博平台架构师,先后在微软、金山云、新浪微博从事技术研发工作,专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。


感谢臧秀涛对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-07 08:378279

评论

发布
暂无评论
发现更多内容

TikTok运营使用SD-WAN有什么优势?

Ogcloud

SD-WAN TikTok 海外网络加速 tiktok运营 TikTok养号

Redis 可观测最佳实践

观测云

redis

迭代阶段如何进行需求的管理

易成研发中心

需求管理

5分钟上手!用 #Workspace 为 screenshot-to-code 项目增加新功能

TRAE.ai

程序员 AI 开发

Shiro权限控制入门

天翼云开发者社区

Java shiro

如何开发一个网站:全面解析与实战指南

科普小能手

网络运维 网站开发

边缘计算与MEC浅谈

天翼云开发者社区

云计算 边缘计算

湖北移动,以5G-A规模商用“换”出内需新活力

脑极体

通信

2024年最热门的区块链生态系统:Solana依旧领跑,新秀崛起

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

AI时代的软件工程:迎接LLM-DevOps的新纪元

鸿鹄

项目管理 软件工程 工具集 大模型 构架

如何解决TikTok直播网络不稳定的难题?

Ogcloud

TikTok tiktok运营 tiktok直播 tiktok直播专线 tiktok直播网络

选择2024年10款OKR在线系统(含免费版)提升团队执行力

易成研发中心

第49届ICPC亚洲区域赛,非凸科技再次支持上海赛站

非凸科技

昇腾AI原生创新算子挑战赛清华大学专场赛圆满落幕

极客天地

Runway 新增视频扩展画面功能;Anthropic 再获亚马逊投资 40 亿美元,聚焦 AI 芯片研发丨 RTE 开发者日报

声网

好产品无国界,极兔外国员工也当上飞书效率先锋了!

ToB行业头条

数字揭秘丨机器学习能否让你的健身计划事半功倍?

Altair RapidMiner

机器学习 数据分析 #人工智能 altair

12 月 14 日,Doris Summit Asia 2024 议程正式公开,线下报名现已启动!

SelectDB

数据库 学习 数据仓库 年度峰会 大数据 开源

深入云电脑PC Farm技术探讨,以阿里云、华为云、ToDesk为例

申公豹

云计算技术

Qemu-KVM基本工作原理介绍

天翼云开发者社区

qemu

招商管理系统(源码+文档+部署+讲解)

深圳亥时科技

人工智能代理与区块链的融合:下一场技术革命的引爆点

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

报表工具对比:积木报表JimuReport VS 帆软报表FineReport

JEECG低代码

数据可视化 数据大屏 BI数据分析 报表工具 仪表盘设计器

IDM卸载了为什么还要重启 IDM卸载后电脑崩溃如何解决

阿拉灯神丁

IDM idm下载 种子下载器

使用2-3法则设计分布式数据访问层_语言 & 开发_卫向军_InfoQ精选文章