2012.2.28 InfoQ 微博热报:HBase 和 Ringmark

阅读数:977 2012 年 2 月 27 日

话题:FacebookDevOps语言 & 开发架构

编者按:InfoQ 微博热报,为读者呈现当天的热门微博,以及大家的转发评论与互动,从中展示业界的热点内容,让您掌握第一手的技术资讯。

HBase 改造

刘佳 _ 牛 _plus_plus写了一篇文章《HBase 写入性能分析及改造—multi-thread flush and compaction》,并发布微博

最近两周做的点事情,先放一部分出来: HBase 写入性能改造,约能提高两到三倍吞吐量,带压缩测试,改造方法加测试数据。 有玄机有干货。

昨天下午发表的这篇微博,截止目前,转发 48 次,有 12 条评论,

bluedavy在评论中指出:

恩,这个应该是在关闭 hlog、split 的情况下,某些应用场景可以这样,不过关闭 split 是大部分场景下需要做到的,只是目前版本的 hbase 如果直接关闭 split 还是会带来不少问题。

刘佳 _ 牛 _plus_plus的回复是:

这个是关 Hlog 的,HLog 在客户端 put 里关,自动 split 在代码里注掉了。不 split 的话,写的时候问题就是最后 StoreFile 越来越大。compact 也就相应地慢了。。还是要手动 split。避免 split 的各种 bug。

同时他还指出:

所有测试包括原版的 hlog 都关了,下面再要出一版就是 Hlog 写三份内存的,那个应当也挺好玩的。Facebook 做过这个事。

@庄庄 2049在评论中提到:

hlog 本来就是写三份内存,刷磁盘的事交给了 OS。最近在苦恼这事,因为三份内存会丢,而且实实在在丢了,苦恼么?

刘佳 _ 牛 _plus_plus建议:

那就配双集群,sync 吧。HBase 现在可以用 Hlog sync。

而且:

处于 sync 段的 log 会放在 zookeeper 里

除这篇文章外,刘佳 _ 牛 _plus_plus还写了续篇,其中带有详细的测试数据。

Facebook 发布移动浏览器测试工具 Ringmark

SPILGAMES 亚洲区 CEOCQ_ 陈琦发布微博说:

FB 另外公布的一个好消息,针对移动浏览器版本的分裂性, 他们提供了一个移动浏览器测试工具 Ringmark, 已公开地址,并且将会很快开源. 这个工具由 Bocoup 开发 (去年旧金山 newgameHTML5 游戏大会的组织者,正好有幸参加,很精英的小团队) 地址:http://t.cn/zOGyrKM 强烈推荐的调试工具。

他还提到:

FB 的强大之处是找到了 30 多家厂商来支持规范浏览器标准, 也推进 W3C 的移动互联网 Core Community Group,这 30 家厂商包括所有主流手机厂商 (三星、HTC、索尼、华为、中兴) 软银等运营商和手机浏览器开发商, 还有 Zynga,EA 等游戏厂商,有 FB 撑腰, HTML5 手机浏览器的标准规范会大大加快。

今日微博推荐

淘宝技术大学

推荐理由:分享各种淘宝技术资料,最近与 MySQL 相关的一系列资料很值得关注。

欢迎读者关注@InfoQ,推荐热门话题,可私信@InfoQ,同时请您说明推荐理由。