全方位对比：Python、Julia、MATLAB、IDL 和 Java （2019 版）

引言

我们使用简单的测试用例来对各种高级编程语言进行比较。我们是从新手程序员的角度来实现测试用例，假设这个新手程序员不熟悉语言中可用的优化技术。我们的目的是突出每一种语言的优缺点，而不是宣称一种语言比其他语言更优越。计时结果以秒为单位，精确到四位数，任何小于 0.0001 的值将被视为 0 秒。

本文提供的测试是在 Intel Xeon Haswell 处理器节点上进行的，每个节点有 28 核（每核 2.6GHz）和 128GB 的可用内存。Python、Java 和 Scala 测试运行在一台 Mac 计算上，该计算机配备了 Intel i7-7700HQ（4 核，每核 2.8GHz），16GB 可用内存，以便与 Xeon 节点进行比较。我们考虑这些语言使用如下版本：

GNU 和 Intel 编译器用于 C 和 Fortran。包含这些语言是为了作为基准，这就是为什么它们的测试也带有优化版本（-O3、-Ofast）的原因。

测试用例分为四类：

• 循环和向量化

• 字符串操作

• 数值计算

• 输入 / 输出

每个测试都足够“简单”，可以用任何一种语言快速编写，旨在解决以下问题：

• 非连续内存位置的访问

• 递归函数的使用

• 循环或向量化的利用

• 海量文件的打开

• 任意长度的字符串的操作

• 矩阵的乘积

• 迭代求解的使用

• 等等

源文件包含在以下目录中：

C\  Fortran\  IDL\  Java\  Julia\  Matlab\  Python\  R\  Scala\

还有一个目录：

Data\

它包含一个 Python 脚本，该脚本在读取大量文件时生成测试用例所需的 NetCDF4 文件。它还有用于“计算文件中唯一单词”测试用例的示例文本文件。

备注：在下面显示的结果中，我们使用了较旧版本的 Julia，因为在 Xeon Haswell 节点上安装最新版本的 Julia(1.1.1) 时我们遇到了困难。此外，Python 实验并不包括 Numba，因为我们有权访问的 Haswell 节点使用的是较旧版本的操作系统，妨碍了 Numba 的正确安装。

循环与向量化

• 复制多维数组

给定任意 n x n x 3 矩阵 A，我们将执行以下操作：

A(i, j, 1) = A(i, j, 2)A(i, j, 3) = A(i, j, 1)A(i, j, 2) = A(i, j, 3)   

循环和向量化的使用。该测试用例旨在测量语言访问连续内存位置的速度，并查看每种语言如何处理循环和向量化。

表 CPA-1.0：在 Xeon 节点上使用循环复制矩阵元素所用的时间。

表 CPA-1.1：在 i7 Mac 上使用循环复制矩阵元素所用的时间。

表 CPA-2.0：在 Xeon 节点上使用向量化复制矩阵元素所用的时间。

表 CPA-2.1：在 i7 Mac 上使用向量化复制矩阵元素所用的时间。

字符串操作

• 外观数列

外观数列（Look and Say Sequence）读取一个整数。在后续的每个项中，前一个项中每个整数出现的次数连接到该整数的前面。如，一个项 1223，接下来将会是 112213 ，或“一个 1，两个 2，一个 3”。这里，我们从数字开始： 1223334444 ，并确定 n 项（随 n 不同）的外观数列，这个测试用例突出显示了语言如何操作操纵任意长度的字符串。

表 LKS-1.0：在 Xeon 节点上查找 n 项的外观数列所用的时间。

表 LKS-1.1：在 i7 Mac 上查找 n 项的外观数列所用的时间。

• 文件中的唯一单词

我们打开一个任意文件，并计算其中唯一单词的数量，假设单词如下：

ab   Ab   aB   a&*(-b:   17;A#~!b

数量是相同的（在这样的情况下，大小写、特殊字符和数字将被忽略）。在我们的测试中，使用了四个文件：

world192.txt、plrabn12.txt、bible.txt、book1.txt

这些文件取自 Canterbury 语料库。

表 UQW-1.0：在 Xeon 节点上计算文件中的唯一单词所用的时间。

表 UQW-1.1：在 i7 Mac 上计算文件中唯一单词所用的时间。

数值计算

• 斐波那契数列

斐波那契数列是一个数字序列，其中每个连续的数字是它前面两个数字的和：

它的第一项是：

斐波那契数列在经济学、计算机科学、生物学、组合学等领域都有广泛的应用。我们在计算第 n 个斐波那契数列时测量所用的时间。迭代计算和递归计算都需要计算时间。

表 FBC-1.0：在 Xeon 节点上迭代查找斐波那契数列所用的时间。

表 FBC-1.1：在 i7 Mac 上迭代查找斐波那契数列所用的时间。

表 FBC-2.0：在 Xeon 节点上递归查找斐波那契数列所用的时间。

表 FBC-2.1：在 i7 Mac 上递归查找斐波那契数列所用的时间。

• 矩阵乘法

将两个随机生成的 n x n 矩阵 A 和 B 相乘。测量执行乘法的时间。这个问题说明了利用每种语言中可用的内置库的重要性。

表 MXM-1.0：在 Xeon 节点上进行矩阵相乘所用的时间。

表 MXM-1.1：在 i7 Mac 上进行矩阵相乘所用的时间。

• 置信传播算法

置信传播是一种用于推理的算法，通常用于人工智能、语音识别、计算机视觉、图像处理、医学诊断、奇偶校验码等领域。我们用 5000x5000 元素矩阵来测量算法进行 n 次迭代所用的时间。在 Justin Domke 的博客（Domke 2012）中展示了 MATLAB、C 和 Julia 的代码，该博客指出，这个算法是“矩阵乘法的重复序列，然后进行归一化”。

表 BFP-1.0：在 Xeon 节点上执行置信传播算法所用的时间。

表 BFP-1.1：在 i7 Mac 上执行置信传播算法所用的时间。

• 梅特罗波利斯 - 黑斯廷斯（Metropolis-Hastings）算法

梅特罗波利斯 - 黑斯廷斯算法是一种用于从概率分布中提取随机样本的算法。该实现使用二维分布（Domke 2012），并测量迭代 n 次所用的时间。

表 MTH-1.0：在 Xeon 节点上执行梅特罗波利斯 - 黑斯廷斯算法所用的时间。

表 MTH-1.1：在 i7 Mac 上执行梅特罗波利斯 - 黑斯廷斯算法所用的时间。

• 快速傅里叶变换

我们创建一个 n x n 矩阵 M ，其中包含随机复值。我们计算了 M 的快速傅里叶变换和结果的绝对值。快速傅里叶变换算法广泛用于各种科学和工程领域的信号处理和图像处理。

表 FFT-1.0：在 Xeon 节点上计算快速傅里叶变换所用的时间。

表 FFT-1.1：在 i7 Mac 上计算快速傅里叶变换所用的时间。

• 迭代求解器

我们使用雅克比法迭代求解器（Jacobi iterative solver）数值逼近二维拉布拉斯方程（Laplace equation）的解，该解用四阶紧致格式离散（Gupta，1984）。随着网络点数量的变化，我们记录所用的时间。

表 ITS-1.0：在 Xeon 节点上迭代计算近似解所用的时间。

表 ITS-1.2：在 i7 Mac 上迭代计算近似解所用的时间。

表 ITS-2.0：在 Xeon 节点上使用向量化计算近似解所用的时间。

表 ITS-2.1：在 i7 Mac 上使用向量化计算近似解所用的时间。

• 矩阵的平方根

给定 n x n 矩阵 A，我们寻找这样的矩阵 B，使得：

B * B = A

B 就是平方根。在我们的计算中，我们考虑对角线上为 6，别处为 1 的矩阵 A。

表 SQM-1.0：在 Xeon 节点上计算矩阵的平方根所用的时间。

表 SQM-1.1：在 i7 Mac 上计算矩阵的平方根所用的时间。

• 高斯求积

高斯求积（Gauss-Legendre Quadrature）是逼近定积分的一种数值方法。它使用被积函数的 n 个值的加权和。如果被积函数是 0 到 2 n - 1 次多项式，则结果是精确的。这里我们考虑区间 [-3, 3] 上的指数函数，并记录当 n 变化时执行积分所用的时间。

表 GLQ-1.0：在 Xeon 节点上计算积分近似值所用的时间。

表 GLQ-1.1：在 i7 Mac 上计算积分近似值所用的时间。

• 三角函数

我们在 n 元素值列表上迭代计算三角函数，然后在同一列表上计算反三角函数。当 n 发生变化时，测量完整全部操作所用的时间。

表 TRG-1.0：在 Xeon 节点上计算三角函数所用的时间。

表 TRG-1.1：在 i7 Mac 上计算三角函数所用的时间。

• Munchausen 数

Munchausen 数 是一个自然数，等于其自身幂次的位数之和。在以 10 为基数的情况下，有 4 个这样的数字：0、1、3435 和 438579088。我们来确定找到这些数字需要多久。

表 MCH-1.0：在 Xeon 节点上查找 Munchausen 数所用的时间。

表 MCH-1.1：在 i7 Mac 上查找 Munchausen 数所用的时间。

输入 / 输出

• 读取大量文件

我们有一套涵盖 20 年的每日 NetCDF 文件（7305）。给定年份的文件位于一个标记为 YYYY 的子目录中（例如，Y1990、Y1991、Y1992 等）。我们希望编写一个脚本，打开每个文件，读取一个三维变量（经度 / 维度 / 级别）并对其进行操作。脚本的伪代码如下：

    Loop over the years        Obtain the list of NetCDF files        Loop over the files            Read the variable (longitude/latitude/level)            Compute the zonal mean average (new array of latitude/level)            Extract the column array at latitude 86 degree South            Append the column array to a "master" array (or matrix)

目标是能够生成三维数组（年份 / 级别 / 值）并执行等高线图。这是我们支持的典型用户面临的问题类型：需要对数千个文件进行操作以提取所需信息的集合。拥有能够从文件中快速读取数据（如 NetCDF、HDF4、HDF5、grib 等格式）的工具对我们的工作至关重要。

表 RCF-1.0：在 Xeon 节点上处理 NetCDF 文件所用的时间。

表 RCF-1.1：在 i7 Mac 上处理 NetCDF 文件所用的时间。

表 RCF-2.0：在 Xeon 节点上利用多核处理器使用 Python 处理 NetCDF 文件所用的时间。

表 RCF-2.1：在 i7 Mac 上利用多核处理器使用 Python 处理 NetCDF 文件所用的时间。

图表总结

在下面的图中，我们通过使用 GCC 获得的计时数字（仅在最后一列，即最大问题的大小）作为参考，总结上述计时结果。

研究结果

概述：

• 没有任何一种语言在所有测试中都优于其他语言。

• 通过仅在必要时创建变量以及“清空”不再使用的变量来减少内存占用非常重要。

• 对于相同的任务，使用内置函数会比内联代码带来更高的性能。

• Julia 和 R 提供了简单的基准测试工具。我们编写了一个简单的 Python 工具，允许我们随心所欲地多次运行 Python 测试用例。

循环和向量化：

• 与使用循环相比，Python（和 NumPy）、IDL 和 R 在向量化时运行速度更快。

• 在使用 Numba 时，只要使用 NumPy 数组，Python 就可以更快地处理循环。

• 对于 Julia，循环比向量化代码运行得更快。

• 在不涉及计算的情况下，使用循环与向量化相比，MATLAB 在性能上似乎没有显著变化。当进行计算时，向量化 MATLAB 代码要比迭代代码更快。

字符串操作：

• 与其他语言相比，Java 和 Scala 在操作大型字符串时，似乎具有显著的性能。

数值计算：

• 与其他语言相比，R 在使用递归时似乎具有显著的性能。

• 语言在数值计算中相对于其他语言的性能表现取决于具体的任务。

• MATLAB 的内置快速傅里叶变换函数似乎运行速度最快。

输入 / 输出：

• 虽然有些语言运行测试的速度比其他语言快，但在本地 Mac 上而不是处理器节点上运行测试的话，可以获得最大的性能提升。因为处理器节点使用机械硬盘，而 Mac 用的是固态硬盘。这表明硬件对 I/O 性能的影响比所使用的语言更大。

参考资料

1. Julia, Matlab and C，Justin Domke 著，2012 年 9 月 17 日

2. 四阶泊松求解器，《计算物理学杂志》,55(1):166-172，Murli M. Gupta 著，1984 年

原文链接：

Basic Comparison of Python, Julia, Matlab, IDL and Java (2019 Edition)