免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

Bugsnag 的 MongoDB 分片集群使用经验

  • 2014-10-09
  • 本文字数:1271 字

    阅读完需:约 4 分钟

Bugsnag 是一家为移动应用开发者提供实时的 Bug 追踪及检测服务的创业公司,Bugsnag 已经使用 MongoDB 存储超过 TB 级的文档数据。从 Bugsnag 的第一个版本开始他们就使用 MongoDB 存储业务数据。近日,Bugsnag 的工程师 Simon Maynard 在博客上分享了他们的MongoDB 分片集群经验,并开源了几个他们常使用的脚本

带标签的分片(Tag Aware Sharding)

带标签的分片是MongoDB 2.2 版本中引入的新特性,此特性支持人为控制数据的分片方式,从而使数据存储到合适的分片节点上。具体的做法是通过对分片节点打tag 标识,再将sharding key 按范围对应到这些标识上。在Bugsnag 中,每个页面的加载都会涉及到用户集合,比如查询用户是否登录,当应用向主分片上写入大量数据时,所有的用户请求都可能因此变得很慢。为了解决这个问题,Bugsnag 对大的分片中的所有分片集合添加了一个标签,这样用户集合就可以存储到一台小型机器上,接下来就可以在内存中直接存取用户数据。关于带标签的分片特性具体如何使用读者也可以参考 Asya 的这篇博客

空的数据块

在删除旧的数据时,分片中会出现空的数据块,这样会导致分片不平衡。平衡分片的算法仅仅只是调整分片中数据块的数量,忽略了数据块的大小。在 MongoDB 2.6 中,新增了一个 mergeChunks 命令用来将空的数据块合并到连续范围的数据块上,但是这个命令并不可以自动执行,所以 Bugsnag 编写了一个脚本,以依次检查数据块,并自动合并空的数据块。

大的数据块

大的数据块是指数据块的大小超过配置大小,Bugsnag 编写了一个脚本用来发现并调整大数据块的大小。由于需要连接mongod 和mongo 实例,所以使用了MongoDB 的Ruby 接口Mongoid。脚本会将大的数据块分割,以保证集群中数据集合分布均衡。

孤立文档(Orphaned documents)

在正常情况下,系统中不会有孤立文档。不过,块迁移过程中的一些失败情况可能会留下孤立文档。孤立文档可以被安全删除,MongoDB 2.6 中可以使用 cleanupOrphaned 命令从分片中删除孤立文档。关于孤立文档的更多内容读者可以参考 MongoDB 工程师的这篇博文

MoveChunk 目录

MoveChunk 目录中的文件是进行分片均衡操作时产生的临时文件,操作完成后,这些文件就可以被删除。Bugsnag 使用定时任务来定期清空该目录,MongoDB 也支持关闭此功能,读者可以自行测试。

监控分片环境

  1. Shell 命令
  • db.collection.getShardDistribution() :查看分片集群中集合是如何分布的。可以通过此命令确定分片上的某个集合相比于其它分片是何时开始突然变大的。
  • db.stats() :打印每个分片下的数据库状态,可以通过此命令跟踪数据大小。可以传入 1024*1024*1024 参数来以 GB 为单位显示数据大小。
  • sh.status() :显示整个集群中数据块的分布情况,可以用来检查数据是否分布均衡。
  1. Mongostat
    Mongostat 是 MongoDB 自带的状态检测工具,当 MongoDB 集群出现问题时,可以运行 mongostat –discover 来检查集群中各个 mongos 机器的性能指标。

作者最后总结到运行一个 MongoDB 分片集群并不难,但是在运行过程中也不时地会有一些小的问题出现。在 Bugsnag 的博客中有很多 MongoDB 的博文,读者可以自行学习。

2014-10-09 04:575158
用户头像

发布了 219 篇内容, 共 138.3 次阅读, 收获喜欢 191 次。

关注

评论

发布
暂无评论
发现更多内容

深度学习调参小册

京东科技开发者

人工智能 深度学习 后端 调优参数 企业号 2 月 PK 榜

软件测试 | Web控件定位与常见操作

测吧(北京)科技有限公司

测试

AntDB-M设计之内存结构

亚信AntDB数据库

AntDB aisware antdb AntDB数据库 企业号 2 月 PK 榜

软件测试 | 执行JavaScript脚本

测吧(北京)科技有限公司

测试

融云入围「2022 云办公平台 TOP50」,进入「中国协同办公产业图谱」

融云 RongCloud

ChatGPT 下一步,分配对象脱单有望

融云 RongCloud

手写JavaScript常见5种设计模式

helloworld1024fd

JavaScript

开心档-软件开发入门之Bootstrap4 下拉菜单

雪奈椰子

bootstrap 开心档

Flink CEP 新特性进展与在实时风控场景的落地

Apache Flink

大数据 flink 实时计算

软件测试 | Selenium 安装

测吧(北京)科技有限公司

测试

软件测试 | 隐式等待、显示等待和强制等待

测吧(北京)科技有限公司

测试

软件测试 | 网页frame与多窗口处理

测吧(北京)科技有限公司

测试

开心档-软件开发入门之Bootstrap4 图像形状

雪奈椰子

bootstrap 开心档

测试进阶之路—新手关于测试碎碎念篇

京东科技开发者

测试 经验分享 分析 效能 企业号 2 月 PK 榜

软件测试 | Selenium测试用例编写

测吧(北京)科技有限公司

测试

软件测试 | Web控件的交互进阶

测吧(北京)科技有限公司

测试

开心档-软件开发入门之Bootstrap4 徽章(Badges)

雪奈椰子

bootstrap 开心档

开心档-软件开发入门之Bootstrap4 面包屑导航(Breadcrumb)

雪奈椰子

bootstrap 开心档

软件测试 | 文件上传与弹窗处理

测吧(北京)科技有限公司

测试

软件测试 | 什么是PageObject设计模式

测吧(北京)科技有限公司

测试

中国计算机设计大赛来啦!用飞桨驱动智慧救援机器狗

飞桨PaddlePaddle

深度学习 paddle 大赛

手写现代前端框架diff算法-前端面试进阶

helloworld1024fd

JavaScript

开心档-软件开发入门之Bootstrap4 输入框组

雪奈椰子

bootstrap 开心档

开心档-软件开发入门之Bootstrap4 表单控件

雪奈椰子

bootstrap 开心档

Redis分布式锁正确打开方式

京东科技开发者

数据库 redis JVM 分布式锁 企业号 2 月 PK 榜

软件测试 | Selenium对多浏览器处理

测吧(北京)科技有限公司

测试

百度前端必会手写面试题整理

helloworld1024fd

JavaScript

开心档-软件开发入门之Bootstrap4 自定义表单

雪奈椰子

bootstrap 开心档

开心档-软件开发入门之Bootstrap4 表单

雪奈椰子

bootstrap 开心档

软件测试 | Selenium IDE用例录制

测吧(北京)科技有限公司

测试

开心档-软件开发入门之Bootstrap4 网格系统

雪奈椰子

bootstrap 开心档

Bugsnag的MongoDB分片集群使用经验_DevOps & 平台工程_小盖_InfoQ精选文章