【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

强者恒强:x86 高性能编程笺注之性能优化

  • 2017-06-01
  • 本文字数:4739 字

    阅读完需:约 16 分钟

读者须知:《强者恒强:x86 高性能编程笺注》是云杉网络推出的系列技术分享,该系列文章将分享 x86 高性能开发方面的实践和思考。主要内容目录如下,欢迎各位业界同仁与我们讨论交流相关话题。

  • 第一部分:介绍
    • 寻找软件中的 Hotspot
    • x86 CPU 架构
    • Good/Bad examples
  • 第二部分:性能因素
    • 内存
      • 缓存
      • 数据对齐
      • Prefetch
      • NUMA
      • 大页
      • 实例
    • 循环
      • 数据依赖
      • 循环展开
      • pointer aliasing
      • 实例
    • 分支
      • 流水线
      • 分支预测
      • Branch-less 编程
      • 实例
    • 多线程
      • 锁 / 阻塞
      • CPU 核绑定
      • 无锁操作
  • 附:
    • 性能测试工具

前言

高性能软件不仅仅用来构筑市场壁垒。写作高性能软件,是一项杂糅了编程技巧、硬件架构、操作系统、编译器原理等知识与经验的智力享受。这些条件相互促进,又相互制约,像是按照平仄合辙的词牌填词,也像遵循对位赋格来谱曲。性能的提升,会给工程师以巨大的心理奖赏。软件,作为程序员心理活动的副产品,也将一同进入正反馈的循环。所谓“强者恒强”,就是这个道理。

作为时下“软件定义一切”大潮的受益者,基于 x86 和 Linux 服务器的软件开发正受到越来越多的关注。相对于它所要取代的传统硬件,x86 软件的性能始终是其瓶颈所在。但在整个行业上上下下的努力之下,通用 x86 处理器也已经在某些应用中达到了专用逻辑电路的性能指标。在这一系列文章之中,笔者想将自己在性能优化方面的实践和思考分享给大家。因为涉及相对底层的操作,所以在文章中选用了方便的 C 语言作为示例语言。不过主旨仍是讲述原理和实践经验,读者大可不必拘泥于形式。

作为系列的第一篇文章,先来和大家探讨一下性能优化的原则。

什么是“性能”

在实践中,我们有时会不自觉地把一些似是而非的指标用来评判一个软件的性能。最常见的,是用一段代码编译后的汇编指令数目来评判软件的性能。越少的指令,就不言自明地代表了越高的性能。也许我们确实可以观察到这一“表象”,但事实上,指令数目少,是软件性能高的既不充分也不必要条件。下面举一个不是看腻了的横纵遍历数组的例子。

有一组固定长度的伪随机数数组,数值范围在 0 至 255 之间:

复制代码
uint32_t i = 0;
for (; i < ARRAY_LEN; i++) {
array[i] = rand() % 256;
}

我们希望将其中小于 128 的数字累加求和。除了简单地遍历筛选一遍之外,我们也可以先对数组进行排序之后再执行遍历操作。但“排序”在这里似乎是多余的操作,因为排不排序,都不影响结果的正确性,同时还引入了额外的开销。依据一般“直觉”,排序之后再操作并不是明智的方式。我们的这两种方案表示如下:

复制代码
#ifdef PRE_SORT
qsort(&array, ARRAY_LEN, sizeof(uint32_t), qsort_cmp);
printf("Sorted array\n");
#endif
uint64_t sum = 0;
uint32_t ite_count = 0;
for (; ite_count < 10000; ite_count++) {
for (i = 0; i < ARRAY_LEN; i++) {
if (array[i] < 128) {
sum += array[i];
}
}
}

由宏 PRE_SORT 控制是否启动排序操作。在操作开始和结束的时候分别记录 CPU Cycle 计数,以便比较执行时间。使用 gcc 默认参数编译并执行,首先是引入了排序的代码:

复制代码
# gcc -DPRE_SORT branch.c
# ./a.out
Sum: 20787670000, CPU cycles: 4869610134

下面是未引入排序的执行情况:

复制代码
# gcc branch.c
# ./a.out
sum: 20787670000, CPU cycles: 14611881138

由于伪随机的原因,两种方式计算的结果都是相同的。而与预想情况不同的是,增加了”多余“排序的程序,执行效率是不排序的 3 倍(在实验的特定平台上)。当我们调整相关参数,比如数组的长度和迭代的次数,还可以使相差更大。

可以使用 rdtsc 指令读取 CPU 的 cycle 计数,由硬件计数器直接提供,根据 CPU 主频可以计算出绝对时间。在某些型号的多核 CPU 上 rdtsc 指令可能会出现计数误差。但时代一直在进步,Intel 已经在新型号的 CPU 上改良了这一情况。后续的文章中会有详细说明。

完整代码已上传至 https://github.com/PanZhangg/x86perf

那么原因是什么呢?要回答这个问题,就必须借助性能测试工具的力量。

在性能优化的过程中,测试工具占据了绝对重要的地位。它给出的结果,几乎可以当作一切性能优化行为的入手点和逻辑起点。在 Linux 环境下,有数种性能测试和性能监控工具。在后续的文章中,会基于最常用的几种,穿插介绍它们的特性和使用方法。

为防止指令乱序执行导致计时不准,可采用 asm volatile("" ::: “memory”); 的方式添加内存屏障。相关概念会在后续内容中逐一介绍。

下面使用 perf 这一工具分析一下两者性能差异的原因,使用命令 perf stat ./a.out,针对未引入排序的程序,我们得到如下信息:

复制代码
5,902,900,466 instructions # 0.42 insns per cycle
1,312,563,125 branches # 359.846 M/sec
326,150,404 branch-misses # 24.85% of all branches

第一行是总指令数目,以及 IPC(instruction per cycle) 指标。第二行是程序执行过程中的分支数量,第三行是分支判断失败的占比。

而在引入排序的程序中,可以看到:

复制代码
5,939,795,977 instructions # 1.26 insns per cycle
1,321,069,122 branches # 1084.608 M/sec
406,006 branch-misses # 0.03% of all branches

虽然在指令和分支总数方面都多于前者,但因为显著降低的分支判断失败比例,排序的程序还是以 3 倍的执行速度完成了相同的任务。如果利用工具进一步观察,可以发现未引入排序的代码,在判断一个数字是否大于 128 的时候产生了太多分支判断失败,因为它所处理的数字大小是随机的,CPU 很难做出正确的预测。而在引入排序之后,预测下一个数字是否大于 128,就轻松容易得多。

如果更改了 gcc 的编译参数,比如打开优化选项 -O3,会有什么情况发生?另外针对程序的操作,还能想到哪些优化的方法?请动手试一下。:D

分支预测为何关键,它对程序的性能如何施加影响,以及如何据此提高程序的性能等等,都会在后续的章节中详细说明。在这里,我们希望能先明确一个概念,就是什么是性能。通过上面的例子,可以发现我们经常会使用一些指标来帮助我们评判软件的性能,比如指令数,比如 Cache 命中的次数,比如 CPU 和内存带宽占用率,甚至可以用服务器耗电功率来间接评价。但这些都可以作为“性能的表征”,却都不是性能本身。“性能”其实是一个很宽泛的概念,在不同的语境下都可以有不同的含义,但如果一定要拉出一根墨绳,以我的理解,性能就是一个纯粹的时间概念。可以在更短的时间内完成一项特定的工作,就是性能高;也只有时间短才是性能高的充要条件。

当然,指令少可能时间短,Cache 命中多可能时间短,但是否时间真的短了,也只能是时间说了算。我们平时所提到的 xps,即 x per second 就隐式表达了这一概念。x 可以是数据包,可以是比特,可以是任何程序所关心的东西在时间尺度 per second 上的衡量。也许有人会提到,吞吐是不是性能,并发数是不是性能,资源占用量是不是性能?没有问题,这些都可以作为一种“市场方面的性能”加入到产品介绍手册里。但从 CPU 的角度,它关心什么是吞吐吗?它只是想拼命在最短的时间里执行完指令缓存(CPU Cache)中的指令而已。

基准测试的几点要求

和很多控制系统的架构类似,性能优化的过程是一个负反馈的闭环。上面介绍的例子,其实就可以看作是一次性能优化的过程。当我们不满意程序的性能时候,使用测试工具发现性能的瓶颈。针对瓶颈进行优化,再次测试软件性能,重复这一过程,直至满意为止。在这一闭环中的关键,就是设计有效的基准测试。

一般来说,基准测试需要遵循以下几个原则:

可复现

重复多次可以给出非常近似的测试结果。这意味着需要考虑尽量减少系统等外界因素的干扰,比如同时运行的某个资源占用大户,或者阻塞式 IO,以及各种系统的限制,例如 NUMA 和 CPU 核数等。基准测试的目的并非是求出一个“平均”或者“最大最小”的性能指标,而是为性能测试工具提供一个良好的观察对象,以便发现和诊断性能瓶颈所在。

覆盖典型执行路径

无论什么类型的测试,其实都是对被测对象输入输出的管理。有些测试可以将被测对象看作黑盒子,但性能基准测试,必须要构建能够覆盖典型执行路径的输入。因为作为在使用环境中大量调用的代码,它们的性能是我们主要关心的内容。同时也是给测试工具发挥最大效用提供必要的条件。而像在功能测试中对 corner case 的覆盖倒不必过度考虑。

简单易用

为小的功能点设计有针对性的测试例,除了可以使热点更突出,瓶颈定位更准确之外,更主要的是出于程序员自我心理管理的需要。程序员除了完成代码需求之外,也要时刻考虑如何自我心理调控,这比码代码要重要的多。简单易用的测试例跑起来,每次都是“完成了一次迭代”所附带的心理奖赏,显著降低焦虑水平。即便这次不成功,也愿意尝试第二次。而每次都要花大量时间精力才能执行一次的性能测试,会在得到不理想的测试结果之前过早地达到厌烦阈值。同时复杂意味着不稳定,既是测试结果的不稳定,也是心理的不稳定:D 而这二者其实是一个东西。同单元测试一样,成熟的测试架构可以帮助我们解决这一问题。

关于性能优化的几点误区

性能优化是一项非常注重实践的活动,但很多时候却容易陷入“清谈”和“玄想”的误区中去。对于性能优化,其实和其他学科一样,还是以实验和观察的结果为根基。“你无法管理你不能测量的东西”,像量子力学一样可以通过理论预言粒子的性质也是可能的,但 Intel 还没生产量子 CPU 是不是?

先实现功能,再考虑优化

这是一句经常听到的话,颇有“以大局为重”的意味。性能优化其实是一件和正确性测试很相似的事情,你不能等整个产品都开发完成了才开始跑第一个测试例,这样当(必然)发现了 BUG 之后,定位和改动都要花费巨大的精力与资源。性能优化同理,尤其是希望以性能为卖点的产品。你在敲下第一行代码的时候,就要开始考虑性能。小到结构体怎么构建,里面的变量如何对齐;大到内存的划分,并行架构的设计。就像最基本的函数单元测试例,小型的性能基准实验跑起来,耗费不了太多时间,却能带来饱满的收益。性能优化确实可以集中一段时间来做,但不能到那个时候才开始考虑如何优化性能。

相信直觉

性能优化是反直觉的。好比我们在本文开头举的例子,多余的操作反而提高了性能。在实践过程中,有很多我们一厢情愿地“安插”在软件中的热点。往往是费了力气去优化,性能反而下降了。当软件遭遇性能瓶颈的时候,要第一时间使用性能测试工具帮助你发现热点的真正所在。而对工具的运用和对测试结果的解释,是可以凭借经验的。

同时也应意识到,我们使用的硬件,编译我们软件的编译器等等也都是在不断进步的。很多我们自以为是的性能热点,都已经在我们看不到的地方得到了很好的解决。过去的瓶颈如今已不再,以过去的经验为基础所构筑的直觉自然也是靠不住的。

相信套路

很多时候我们会看到或者听到一些“万金油”式的性能优化方法。这里面最具代表性的三个就是 prefetch、core affinity 和 hugepage。很多人不假思索地绑核,等性能测试结果出来,却成了一声棒喝。举例来说,绑的可能是两个不同的逻辑核心,但它们是不是在同一个物理核心上?所需要读取的内存是否在同一个 NUMA 节点上?是否会造成 False sharing?所有这些都是需要以全局为考量,谋定而后动的。同理,很多人搞性能优化的第一件事就是上 Hugepage 和 prefetch,不谋全局者不足以谋一隅,所遭遇的故事和绑核是一样的。

在后续的文章中,将会针对 x86 软件性能优化的各个方面进行细致地剖析。包括但不限于缓存、循环、分支、多线程、无锁,向量化等内容。

作者简介

张攀,云杉网络工程师,专注于 x86 网络软件的开发与性能优化,深度参与 ONF/OPNFV/ONOS 等组织及社区,曾任 ONF 测试工作组副主席。


感谢木环对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-06-01 06:451976

评论

发布
暂无评论
发现更多内容

MySQL并发插入导致死锁

云舒编程

MySQL 并发 死锁

近6成金融机构的选择!华为云GaussDB加快金融核心系统转型

华为云开发者联盟

数据库 后端 华为云 华为云GaussDB 华为云开发者联盟

左耳听风 - 研发效率「读书打卡 day 16」

Java 工程师蔡姬

读书笔记 程序员 个人成长 研发效率 职业发现

【精品教程】如何查看iOS崩溃日志

雪奈椰子

如何让你的.NET WebAPI程序支持HTTP3?

不在线第一只蜗牛

Web 开发语言 http3 .NET 7

WorkPlus AI智能客服解决方案,提升企业服务质量

WorkPlus

支撑核心系统分布式改造,GaussDB为江南农商银行筑稳根基

华为云开发者联盟

数据库 分布式数据库 后端 华为云 华为云开发者联盟

新书上线 | 《使用 NGINX 部署和保护 Kubernetes Ingress Controller》中文版

NGINX开源社区

nginx Kubernetes API NGINX Ingress Controller NGINX Service Mesh

万字图解| 深入揭秘IO多路复用

云舒编程

异步 epoll select poll I/O 多路复用

如何使用 NFTScan API 检索 NFT 合约地址下 Transactions 数据

NFT Research

API NFT\ NFTScan

万字图解 | 深入揭秘Linux 接收网络数据包

云舒编程

数据包 中断 网卡 linux\ ringbuffer

万字图解 | 深入揭秘HTTP工作原理

云舒编程

多路复用 HTTP web socket QUIC 图解网络

万字图解 | 深入揭秘TCP工作原理

云舒编程

三次握手 TCP协议 TCP四次挥手 MSL 滑动窗口

这一年我们上线的运维自动化系统

37丫37

DevOps 运维 自动化 工具 开发.

软件测试学习笔记丨JMeter使用代理录制脚本

测试人

软件测试

开发人员是怎么失去成就感的

云舒编程

程序员 发展 职业生涯 开发. #最有成就感的事

大数据处理流程包括哪些环节

悦数图数据库

大数据处理流程

软件测试学习笔记丨Grafana安装

测试人

软件测试

1688店铺详情数据接口python

tbapi

1688 1688API 1688店铺详情数据接口 1688店铺详情数据采集

原来阿里字节员工简历长这样

云舒编程

简历模板 简历 应届生 大厂面试】 #面试

有了这张微积分知识地图,你可能会爱上高数!

博文视点Broadview

《幻兽帕鲁》爆火,大厂坐不住了:这游戏是 AI 设计的?丨 RTE 开发者日报 Vol.134

声网

Footprint 的卓越资金流数据揭示加密货币的神秘叙事

Footprint Analytics

区块链 数据分析 加密货币

解决跨域问题的8种方法,含网关、Nginx和SpringBoot~

王磊

Java 面试题

日志资源成本减少35%:新东方可观测体系改造如何降本增效?

TakinTalks稳定性社区

图像处理-Java-指定大小压缩

alexgaoyh

Java 图像处理 图像压缩 压缩算法 指定大小

程序员手把手教你参与开源!拿捏!

快乐非自愿限量之名

开源 程序员 面试

TCP close_wait 引发的血案

云舒编程

TCP 压测 Wait 连接池

实力认可!TDengine 在“2023 年度金猿季”两大榜单中脱颖而出

TDengine

tdengine 时序数据库

英特尔实现3D先进封装技术的大规模量产

E科讯

强者恒强:x86高性能编程笺注之性能优化_语言 & 开发_张攀_InfoQ精选文章