Coverity 的一项调查发现，在代码量相当的情况下，使用了 static analysis 的开源代码通常比商业私有代码的缺陷少。
Coverity Scan 是一个关注开源代码完整性的公私合营的研究项目，于 2006 年由美国国土安全部（U.S. Department of Homeland Security）发起并与斯坦福（Stanford）大学合办。在过去的五年中，Coverity Scan 采用 Coverity 公司的 static analysis 工具评估和改进了 300 多个开源项目的代码质量。比如在 2006 年，此工具就帮助开源代码修复了 6000 多个 Bug。
近期发布的 2011 Scan 报告（PDF）显示，开源项目的缺陷通常比商业私有项目少。该报告分析了 2011 年期间最活跃的前 45 个开源项目的代码，总共 37,000,000 多行代码，并且只有影响级别为中或高的缺陷参与采样分析。调研数据不涉及 QA 测试或后续发布过程中发现的缺陷。参与 Coverity Scan 计划的所有项目的代码都经过 Coverity Static Analysis 的测试和分析。
参与分析的开源项目的代码行数大部分在 100k-500k 行之间，只有 2 个项目超过了 7M 行，总代码量为 37,446,469 行，平均每个项目约 832,000 行。开源项目的缺陷率为每千行代码 0.45 个缺陷，而对于那些没有采用自动测试工具比如 static analysis 的公司，行业平均值大约是每千行代码 1 个缺陷。
Coverity Scan 覆盖了 14 种缺陷，开源代码中位列前五的缺陷是：
缺陷 数量 影响 控制流问题
3,128
中
空指针异常
2,818
中
未初始化的变量
2,051
高
内存越界
1,551
高
错误处理方面的问题
1,535
中
调查同时覆盖了 41 个使用了 static analysis 的商业私有项目。这些项目规模各异，也来自不同领域，总共超过 300M 行代码，平均每个项目代码量约有 7.4M 行。结果显示，在项目规模相当的情况下，开源代码的质量与私有的持平。例如，Linux 2.6 代码大约有 7M 行，缺陷密度为 0.62，私有代码则大约为 0.64。通常 Linux 的缺陷密度比较低，但其代码量在 2011 年从 5.3M 增至 6.8M。作为参考，PHP 5.3 和 PostgreSQL 9.1 的缺陷密度值则为每千行代码 0.2 和 0.21 个缺陷。
综合上述，此次调查清晰地表明，采用自动测试，包括 static analysis，能够很好地减少代码缺陷的数量。
查看英文原文： Coverity: Open Source Code Has Fewer Defects than Commercial One
评论