Ruby 基准评测套件初探

  • Mirko Stocker
  • 李明(nasi)

2008 年 7 月 2 日

话题:Ruby语言 & 开发架构

随着 Ruby 实现数目的增长,人们的兴趣已经不仅仅是通过测试集合比较兼容性了(参阅RubySpec 项目),而且还包括对不同实现进行基准评测。

Antonio Cangiano启动了Ruby 基准评测套件项目。我们对 Antonio 进行了访问,了解到关于基准评测套件、套件中计划的代码类型以及其他开发者如何参与等信息。

我们询问了 Antonio 关于 Ruby 基准评测套件的计划:

Ruby 基准评测套件的主意来源于我们目前缺乏一个标准集合来衡量各个 Ruby 实现的性能。在我的上一次评比中,我使用的评测集合是我从 Ruby 1.9 的代码仓库中获取的,因为比较方便。仅凭这些测试显然不适合测量出真实的性能来。一台空转的虚拟机比另外一台快,并不意味着它们在运行系统管理脚本 或者 Rails 应用的时候具有同样的可比性。

因此标准基准评测的目标是通用化,以便能代表 Ruby 应用真实环境的诸多方面。目前我们将基准评测分为以下部分:



  • 核心特性:严格执行语言特性的基准评测,除了基本算术以外几乎不需求库中类型。
  • 核心库:专门执行Ruby的核心库中类和方法的评测。
  • 标准库:专门执行Ruby的标准库中类和方法的评测。
  • 小型评测:远离真实环境的小型通用评测。例如,对于从计算机语言评测游戏中引入的评测或者是一些经典算法。
  • 真实环境:可能是最有趣的分类了,它包括了从真实环境的程序中提取的大型评测。例如,一个优秀的日志处理脚本是很适合这个分类的。
从目前收集到的反馈和一些可选 Ruby 实现的开发者们(包括 GemStone、Microsoft、Engine Yard 和 Sun 的开发者们)的兴趣程度来看,我相信这个项目成功很可能会成功。

我们也询问了关于他如何组织评测的,Antonio 回答到:

目前他们还都是单独的基准评测,不过我计划编写一个脚本来运行它们并报告一些测试值,包括 CPU 时间和内存使用。很大可能下一次评测仅仅分析执行时间,但是从长远来看内存消耗是不可忽视的,这也是服务器的一个特别重要的方面。

Tim Bray已经重新启动他的RX Ruby 分词器并贡献到评测套件当中。Antonio 也号召其他人来为套装做贡献:

这个项目是开源项目,基于 MIT 证书发布,所以欢迎任何人来贡献。我们目前托管在GitHub 之上,普通贡献者可以对代码仓库进行写操作。那些对于 GitHub 或者 Git 不熟悉的贡献者们,也可以将基准点通过 email 发送给我(acangiano at gmail dot com)或者直接通过我们的 Google 群组

最佳的基准测试往往是你自己的程序,所以最有价值的贡献莫过于从真实程序中抽取的那些了,最好是来自于不同的类型(文本处理、XML 处理和数字运算等 等)。刚刚提到的 log 处理器只是其中一个想法。例如在真实环境评测的部分,我们引入了 Borasky 先生的矩阵基准评测,因为其代码来自实际的数字计算 (如果不是的话就不会有那么对针对 C 库的优化了)。

经典算法和其他的小型评测也欢迎提交,然而正如刚才所提到的,我们需要那些能够反应虚拟机在真实环境中的性能的评测点,这样才没有争议。例如,Yarv 比 Ruby 1.8.6 快上三倍,然而在跑真实的应用时平均只快了 50% 左右。另外要说的是,标准库部分也需要贡献,因为我们需要提升标准库中对类和方法的覆盖率。

我们还有兴趣知道究竟套件是仅专注于 Ruby 核心和标准库,还是对扩展库也进行基准评测:

我 计划如此,至少是一部分特定扩展,我们不像把套件弄得巨大。我们需要意识到许多 Ruby 程序员依赖于例如 ActiveRecord 或者 ActiveSupport 这样的库,并希望看到在不同的虚拟机上这些库的表现如何。事实上,在将来的评测中,测试诸如 Rails 或者 Merb 这样的流行 框架可不是个坏主意。不成熟的虚拟机尚不能运行它们,但是这也是对评估可选 Ruby 实现感兴趣的用户来说很重要的信息。

最近的一次 Ruby 评测是在 2007 年的 12 月份,我们询问了下一次的时间安排:

我计划在 6 月 24 日运行评测并于 30 日以前将结果公布在我的 blog 上。这些天我的大部分时间都用于为 Wrox 出版社编写图书Ruby on Rails for Microsoft Developers了。 因此 24 日并不是一个随意的日子。那天这是我第三章的截止日期。如果你关注的话,我将会在 Mac OS X、Linux(包括 32 位和 64 位)以及 Windows Vista 上测试 Ruby 1.8.x、Ruby 1.9、JRuby、Rubinius、IronRuby、MacRuby、Ruby Enterprise Edition 和 MagLev(如果支持的话)。你需要为测试用上数天,不过我将在 30 日来做这件事情。

查看英文原文:Introducing the Ruby Benchmark Suite

Ruby语言 & 开发架构