2012.03.02 微博热报：Linux 异步 I/O 与 Google vitess 项目

深入的“linux 异步 IO 浅析”

淘宝褚霸昨天推荐了一条博文：

这个同学写的 linux 异步 IO 浅析，是目前我见到的最准确和专业的: http://t.cn/zOqYBeR

这篇文章来自阿里系的向宇，褚霸认为：

如果能讲讲 eventfd, io_submit 批次对设备队列 unplug 以及 aio 对资源使用的限制等等就更完美了。

淘宝核心系统部内核组专家马涛（ @淘伯瑜）在评论中说：

我们有计划修改内核代码，让 aio 变成真正的异步，目前还是有一些阻塞点让 aio 不是那么完美。

比如文件系统的元数据分配，再比如底层 I/O 系统的 request 分配，再比如发起 I/O 时的等待。

褚霸的回复是：

这应该属于 vfs 异步接口实现的问题, 和 aio 框架应该关系不大。

马涛的回应：

那倒也是，但是由于 aio 最终到底层是 direct io, 所以还是会被阻塞呀，不了解这个是否会对应用产生多大的影响。

褚霸进一步说明：

我个人感觉还好，我们用 aio 其实是想利用批次提交，提高 io 电梯的合并率，同时减少没有同步系统调用等待的时间，做 io 这些操作反正在内核背景线程，堵下也没关系，反正应用也有心理准备。

马涛：

你是说 EIOCBRETRY？这个其实真心没有几个人返回的，至少我说的那几个点都是没有返回 EIOCBRETRY 的，所以这只是一个美丽的神话。

褚霸：

EIOCBRETRY 我翻了代码了，没几个地方实现，在实践中也没看到这个操作，确实是神话。 aio 中的重试部分都白做的。

马涛：

恩，我们和社区讨论过这个 EIOCBRETRY 的事情，AIO 的作者 zach brown 给出了一大堆理由，反正他认为返回 EIOCBRETRY 就是灾难，他以前在 Oracle 做了一套新方案，可惜离开后就没有继续了

褚霸：

内核开发也是各种力量角力呀。

@fengyuncrawl 对这篇文章的评论是：

文章写得很详细，美中不足得是未对数据预取算法进行展开描述，数据预取的前提是对磁盘页进行顺序扫描（磁盘页邻近上下页提取），随机扫描没有预取功能。

@淘宝正明在评论中提到：

我们内核团队实现了使用 page cache 的内核 aio，正在测试和完善中。

Google 的开源 vitess 项目

丁香园 CTO 冯大辉（ @Fenng ）发布关于 vitess 项目的微博：

Google 今天开源的 vitess 项目的愿景很令人激动：「provide servers and tools to facilitate scaling of MySQL databases for the web」，特性中的绑定变量，连接池… http://t.cn/zOG1sfM

网易汪源在评论中说：

项目目标里提到 Row cache，跟我们在自研存储引擎 NTSE 中的选择一致。NTSE 的经验是，Row cache 的效果好得出奇，关键是更新不会导致 Cache 失效且要处理好 Checkpoint。

褚霸也有回复：

比我们目前在做的事情 feature 还多了点，我们也在跟进中。。。

何 _ 登成有些疑问：

看了网页中的介绍，是否可以将 vitess 理解为 MySQL 的代理中间件，类似于 Ameoba，或者网易的 DDB。因为从其 InstallHowto 介绍 中，只需要用户有可运行的 MySQL server 即可，没提到修改 MySQL 内部代码。如果真是如此，那么 vitess 绑定变量，连接池，甚至是 row cache，难道都是在中间件层面实现的吗？How？

新浪云计算平台的 DBA邱春武提到：

Fail-safes 中的查询合并、返回结果集限制、慢事物 / 查询处理、空闲连接回收等特性还是非常不错。

今日微博推荐

Laruence

推荐理由：百度 PHP 高级顾问，PHP 语言开发组成员。PHP 框架 Yaf 的作者，博客地址：风雪之隅。