Rackspace Cloud Files 是一个使用 OpenStack Swift 构建的大规模云对象存储系统。随着发展，该系统遇到了许多可扩展性问题。近日， Cloud Files 项目经理 Matt Barker撰文介绍了他们遇到的问题以及Hummingbird 如何提升了Cloud Flies 的性能。
OpenStack Swift 是 Rackspace 于 2010 年推出的一个存储项目，用Python 编写 /)，是原始 OpenStack 平台的一部分。为了保证可扩展性和硬件部署架构的灵活性，Swift 被分解为一个公共服务（代理服务）和三个内部服务（对象服务、容器服务、账户服务）。其中，对象服务层（即对象服务器和复制器）自创建以来几乎没有变化。但随着 Cloud Files 的发展，Python 的局限性显现出来。比如，它在并发支持和磁盘 I/O 方面的局限会导致对象服务层成为瓶颈。
他们考虑了许多不同的方法，包括配置更多的对象工作进程、修改并发设置及加入事件循环。但是，当一个节点在硬件或磁盘层面出现故障时，Python 对象服务会让问题变得更加严重。对象服务器会完全没有响应，或者继续接受连接，但提供数据非常缓慢，许多请求都需要很长的时间才能完成。Cloud Files 团队运行和优化服务的时间都赶上开发新特性了。
为了解决上述问题，Cloud Files 团队首席工程师 Michael Barton 开始尝试使用各种语言框架重写对象服务器。基准测试表明，Go 是一个不错的选择。于是，他们就使用 Go 语言重新编写和部署对象服务，即 Hummingbird 项目。在 API 层面，Hummingbird 具备与 Swift 相同的功能。他们还创建了一个测试套件，用于在对象服务器和对象复制器层面比较两者的性能。接下来，他们将 Hummingbird 部署到弗吉尼亚数据中心的单个生产节点上，然后依次扩展到一个 4 节点“区域（zone）”、半个集群、整个“地区（region）”。截至目前，他们已经在弗吉尼亚和伦敦数据中心这两个生产环境中部署了Hummingbird。在弗吉尼亚地区，每小时的读超时数量显著减少，如下图所示：
而在响应速度方面，Go 对象服务器大约是Python 对象服务器的两倍。
目前，Hummingbird 已经成为OpenS tack Swift 的一个特性分支，感兴趣的读者可以查看其 GitHub 页面。另外，在将于10 月27 日举行的东京OpenStack 峰会上，Michael 及资深软件开发工程师David Goetz 将会对Hummingbird 进行介绍，感兴趣的读者可以关注一下。
感谢郭蕾对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入 InfoQ 读者交流群
）。
暂无签名
中国开发者画像洞察报告 2022
本次报告为你深度解读开发者人群背景，分析开发者群体面临的挑战，洞察开发者人群特征，预测开发者生态发展...
评论