数据库新闻汇总:ActiveRecord 数据分片,更快的 Postgres IO

阅读数:161 2008 年 7 月 23 日

话题:Ruby数据库DevOps语言 & 开发架构

本次数据库新闻汇总有,FiveRun 最近开源的 ActiveRecord 数据分片插件 DataFabric;如何用 Postgres 异步客户端 API 和 Ruby 1.9 的 Fibers 来加速 Postgres 数据访问。

ActiveRecord 的数据分片

数据分片(Sharding)是一种将数据库打散成小块,然后分布到多台服务器上的技术,可以提高性能和可伸缩性。数据如何分割在很大程度上取决于应用的具体情况,比如 eBay 可以按照商品类别来划分。

ActiveRecord 本身并不支持数据分片,于是才有了FiveRuns 的 DataFabric。DataFabric 是一个 ActiveRecord 插件,它为数据模型增加了数据分片和复制的能力。

在模型中加入分片相当简单,它在README里给出了这样的例子:

class MyHugeVolumeOfDataModel < ActiveRecord::Base

  data_fabric :replicated => true, :shard_by => :city

end

详细信息请参阅FiveRuns 博客或者DataFabric GitHub 仓库

更快的 Postgres IO 

另一则数据库新闻是 Muhammed Ali 将 Ruby 的 Postgres 访问速度提高了约 40%。他用 Postgres 的异步客户端 API 和Ruby 1.9 Fibers实现了一个非阻塞的连接池和 fiber 池。从用户程序的角度看,交互过程是这样的:

[……] 当一个 fiber 调用 cpool.exec,查询被送到池中处理,该 fiber 被挂起,让路给 其他 fiber。 其他 fiber 到达 cpool.exec 的时候也同样会挂起。稍后你会在事件循环中收到查询结束的通知(但顺序不定),然后与已结束查询相关联的 fiber 将恢复执行。 

Muhammed 还打算将之与EventMachine做更好的集成,也许能更进一步提升速度。请参阅Muhammad 的博客,他将在上面给出代码的介绍和分析详情。

查看英文原文:Databases Roundup: Data Sharding for ActiveRecord and Faster Postgres IO