写点什么

应用程序热补丁(二):自动生成热补丁

  • 2017-04-20
  • 本文字数:5387 字

    阅读完需:约 18 分钟

前言

在上篇文章中,我们介绍了应用程序热补丁技术的基本原理,同时实现了一个简单的热补丁。但是无法对本地函数打热补丁,同时手动编写热补丁比较麻烦、可能非常复杂容易出错。

为了解决这些问题,本文将会介绍一种自动生成应用程序热补丁技术,可以生成应用程序和动态链接库中任意函数的热补丁。

自动生成热补丁综述

自动生成热补丁是利用热补丁生成工具,对现有的源代码和补丁文件进行处理,自动输出热补丁的技术。

我们知道,热补丁的基本原理是新函数替换旧函数,也就是完整的函数的替换。补丁中可能包含一个或多个函数的修改,这些被修改的函数都会被替换掉。上一篇文章介绍过,热补丁首先把新函数放入目标进程的内存中,然后修改旧函数的入口,使之跳转到新函数。

自动生成热补丁中最主要的部分是自动生成新函数的二进制代码,也称为是替换代码。在生成替换代码时,主要由以下部分组成:

  • 自动生成替换代码
  • 解析替换代码中使用的符号

接下来会对以上部分进行详细的介绍。在介绍之前,必须假设系统环境是 Linux X86/X86_64,应用程序是 C 语言编译链接的 ELF 格式可执行文件,并且拥有原始程序的源代码。

前后代码比较生成替换代码动机与挑战

为了生成替换代码,首先需要知道代码修复之后,哪些函数发生了改变,然后根据这些改变,生成替换代码。使用一种二进制比较的方法,通过比较原始程序的二进制和修复后程序的二进制,提取出生成替换代码所需的全部信息。

我们选择在目标文件(object file)的级别,进行前后比较。这样做的好处是显而易见的:

  • 首先,任何源代码的改变都会在目标文件的二进制代码中显示出来。举个例子,头文件.h 文件中函数的参数如果从 int 变成了 long long,调用这个函数的.c 文件由于隐含的类型转换,并不发生改变。如果在前后代码对比发生在源代码级别,甚至预处理之后,也不能发现前后.c 文件发生了改变。
  • 其次,我们不需要处理语言级别的特性,比如 inline 关键字、隐含类型转换、宏等等。这些语言相关的特性可能随着语言的发展会愈发复杂,并且我们也不希望热补丁局限于某种语言。C 语言、C++、汇编都是我们希望可以处理的语言。
  • 最后,我们只关心代码的二进制表达。在目标文件的级别,二进制代码和代码组成信息是最完整的,在此进行前后代码比较也是最合理的。

所以,生成替换代码的思路是,通过比较前后编译的目标文件,提取出差异部分,组成替换代码。

比较目标文件也面临很多挑战,主要在于如何从提取出发生改变的函数。举个例子,由于目标文件中默认所有的函数代码都会放在.text 段,同时.text 段中的相对地址跳转都是相对于.text 段的。也就是说,如果某个函数发生了改变,就算是一行代码的改变,后面的相对地址跳转也很可能会发生改变(由于符号位置发生了改变)。

解决办法

我们对目标应用程序代码和修复后代码分别编译,逐一比较两次编译产生的若干个目标文件。如图所示:

  • 首先,我们编译原始源代码,保留所有中间过程中产生的目标文件。
  • 然后,我们对原始源代码打上修复补丁,再次编译,构建系统(make)一般只会编译改变的源文件,保留新生成的目标文件。如果没有构建系统或者构建系统不如期工作,可以保留所有的目标文件。
  • 最后,我们比较新生成的目标文件和对应的原始代码编译出来的目标文件,提取出差异部分,组成替换代码,生成热补丁。

在比较过程中,我们希望做到可以在函数级别上进行比较,这样可以只提取出发生改变的函数,并且我们也希望生成的替换代码是地址无关的,因为替换代码可能被加载到任意的内存地址。

GCC 编译器提供了 -ffunciton-sections 和 -fdata-section 的编译选项,作用是把函数和变量放入目标文件中独立的段(每个函数代码都由独立的段来表示)。这样编译出的函数代码都是地址无关的、更加通用的二进制,可以提取到替换代码中被加载到内存的任意位置运行。

在对前后目标文件比较的时候,我们在 ELF 段的级别进行比较(也就是函数的级别,因为函数都在自己独立的段中)。因为目标文件是 ELF 文件,遵守通用的标准。我们可以解析目标文件的 ELF Header,找到段的开头(Section Header),由此找到所有的段。这里我们建议使用一些 ELF 解析库,如 libelf、libbfd 等。

逐一比较前后目标文件中的表示代码的段,段的内容就是函数的代码,找到发生改变的函数:

  • 首先,比较段的大小,如果大小不同,说明函数发生了改变。
  • 接着,对段的内容进行比较,如果某个字节不同,而且字节不属于重定向的一部分,说明函数发生了改变。如果是重定向,检查重定向计算之后的指令内容是否相同,如果不同,说明函数发生了改变(引用了与之前不同的函数或者变量)。
  • 最后,如果段的大小和段的内容都没有改变,说明函数没有改变。

通过比较前后目标文件,我们可以找到发生了改变的段。然后经过一些特殊处理,将前后改变的函数的信息(名称、大小、位置、包含的重定向信息等等)和新目标文件内对应的段一起,组装成替换代码。

需要注意的是,如果补丁中修改的是宏或 inline 函数,我们无法做到只提取宏或者 inline 函数的差异,因为宏和 inline 函数会在编译过程中被放置在其调用函数中,所有调用函数都会改变,所以提取的是所有调用的函数。 此时的替换代码还不能直接运行,因为替换代码中还可能包含对其他符号的引用,我们需要在运行替换代码之前解析这些符号。

替换代码中的符号解析动机与挑战

我们的替换代码中只包含改变的函数代码,这些函数中可能会引用其他没有改变的符号(函数或变量),所以我们需要根据符号引用的规则(一般为相对 PC 地址的相对地址),对引用符号手动重定向。

解析符号地址面临的挑战主要有两个:

  • 找到运行中的程序的符号所在的地址;
  • 如果存在两个或者以上相同名字的符号,找到正确符号。

解决方法

符号的地址是在最终链接的时候决定的,如果可执行文件是 pie(position independent executable)或者是动态链接库,符号的地址是一个相对地址,是相对于可执行文件或者动态链接库的代码段在内存中地址的偏移,计算公式 Addr = Base + Offset。其他情况,符号的地址是一个绝对地址,无需计算。

同样名称的符号在可执行文件中可能出现多次(例如两个文件中定义了名字相同的 static 变量),我们需要从中找到正确的符号。在链接之后,可执行文件中的符号表会遵守一些固定的规则,相同源文件中符号会一起连续地记录,并且在记录的开头会有类型为 STT_FILE 的符号,名字为源文件的名字。

举个例子,我们在 1.c 和 2.c 中同时定义了 static int a,最终可执行文件中的符号表如下所示:

复制代码
# readelf -s exe
Symbol table '.symtab' contains 73 entries:
41: 0000000000000000 0 FILE LOCAL DEFAULT ABS 1.c
42: 0000000000601038 4 OBJECT LOCAL DEFAULT 25 a
43: 0000000000000000 0 FILE LOCAL DEFAULT ABS 2.c
44: 000000000060103c 4 OBJECT LOCAL DEFAULT 25 a

因此我们可以通过 file+sym 规则找到正确的符号位置。假设函数引用变量 a,并且函数在 2.c 源文件中,我们首先找到类型为 STT_FILE 的 2.c 这个符号,然后找到符号 a 就可以了。

我们知道符号的地址后可以对替换代码中的引用进行手动重定向编写,将编译时符号引用的重定向转换为我们自己在运行时可以识别的重定向(self relocation)。

  • 首先,根据重定向类型和计算公式,计算出引用的符号,记录符号的信息,其中符号的地址在运行时可以得到。
  • 然后,记录原有的重定向信息,其中重定向的地址在运行时可以得到。
  • 最后,在替换代码(热补丁)被加载到目标程序的内存中时,通过之前记录的重定向内容,修改替换代码符号引用位置的内容,内容由重定向的类型、重定向的地址、符号的地址计算得到。

举个例子,替换代码中包含函数 x,函数 x 会在地址 P 引用正在运行的程序中的函数 y。当替换代码被加载到程序的地址空间时,地址 P 可以被确定,函数 y 的符号地址 S 可以被确定,根据替换代码中记录的重定向信息(假设重定向类型是 R_X86_64_PC32,Addend 是 A),那么地址 P 的内容需要被修改为 S+A-P。这样当函数 x 执行时才能引用到函数 y 的位置。

POC:生成替换代码、符号解析

本章节利用 objdump 等工具,对生成替换代码中的关键步骤进行 POC 验证。

假设我们有目标程序 T(修复后名为 T-patched),包含如下代码:

复制代码
void print(int i)
{
while (i) {
printf("%d ", i--);
}
printf("\n");
}
void func()
{
print(4);
}

patch 文件如下:

复制代码
void func()
{
- print(4);
+ print(6);
}

分别将源代码和修复后的源代码编译,生成 T.o 和 T-patched.o。

通过 objdump 我们可以发现 func 函数前后发生了改变,地址 0x4 的指令不同。(其他函数不变,省略)。如下所示:

复制代码
# objdump -hdr -j .text.func T.o
Disassembly of section .text.func:
0000000000000000 <func>:
0: 55 push %rbp
1: 48 89 e5 mov %rsp,%rbp
4: bf 04 00 00 00 mov $0x4,%edi
9: e8 00 00 00 00 callq e <func>
a: R_X86_64_PLT32 print-0x4
e: c9 leaveq
f: c3 retq
</func>+0xe></func>
复制代码
# objdump -hdr -j .text.func T-patched.o
Disassembly of section .text.func:
0000000000000000 <func>:
0: 55 push %rbp
1: 48 89 e5 mov %rsp,%rbp
4: bf 06 00 00 00 mov $0x6,%edi
9: e8 00 00 00 00 callq e <func>
a: R_X86_64_PLT32 print-0x4
e: c9 leaveq
f: c3 retq
</func>+0xe></func>

所以提取出 T-patched.o 中的.text.func 段。这就完成了替换代码的提取。

因为 T-patched.o 中的 func 函数在 0xa 的位置上引用了 print 函数,我们需要对 print 符号进行解析,在替换代码(热补丁)被加载到目标进程内存时,对 0xa-0xd 的四个字节重定向。

我们记录下这个重定向,类型 R_X86_64_PLT32,Addend -4,符号 print。

在替换代码被加载到目标进程中时,我们可以确定替换代码加载的地址。假设替换代码中 func 地址为 0x7fa357ed79b0,原程序中 print 地址为 0x7fa358a9979c。那么我们根据之前记录的重定向信息进行计算(V = S + A - P),将 func 偏移 0xa 的位置(4 字节)写入 0xbc1dde,计算方法如下:

0x7fa358a9979c + (-4) - 0x7fa357ed79ba = 0xbc1dde这样重定向之后,替换代码中的 func 函数就能正确引用到原程序中的 print 函数。

最后,我们通过 GDB 观察 T 程序打入热补丁之后的行为:

复制代码
(gdb) disas func
Dump of assembler code for function func:
0x00007fa358a997d8 <+0>: movabs $0x7fa357ed79b0,%rax
0x00007fa358a997e2 <+10>: jmpq *%rax

以上可以看出原程序的 func 函数会跳转到 0x7fa357ed79b0 执行。

复制代码
(gdb) disas 0x7fa357ed79b0
Dump of assembler code for function func:
0x00007fa357ed79b0 <+0>: push %rbp
0x00007fa357ed79b1 <+1>: mov %rsp,%rbp
0x00007fa357ed79b4 <+4>: mov $0x6,%edi
0x00007fa357ed79b9 <+9>: callq 0x7fa358a9979c <print>
0x00007fa357ed79be <+14>: leaveq
0x00007fa357ed79bf <+15>: retq
End of assembler dump.
</print>

以上可以看出 0x7fa357ed79b0 是热补丁中 func 函数的入口,也能看出 0x00007fa357ed79b9 地址的指令中引用了正确的 print 符号。

我们通过 objdump、gdb 验证了替换代码的静态和动态形式,展示了自动生成热补丁的具体细节,希望可以借此让读者对此有更清晰的理解。

其他注意事项

这种前后目标文件比较生成替换代码的方法,要求我们必须拥有正在运行的目标程序的源代码。同时,在编译目标文件时强烈建议使用和目标程序相同版本的 gcc 和编译选项,使用不同的 gcc 和不同的选项可能会导致目标文件和原始程序的二进制不匹配,导致不能生成正确的替换代码。不正确的替换代码可能会导致符号解析错误,进而是程序崩溃,这里需要特别注意。

写在最后

本文介绍了二进制比较方式的自动生成热补丁技术,相比于上一篇文章中介绍的简单热补丁技术,优势在于:

  • 通过工具自动生成热补丁,无需手动编写热补丁,减少了人为出错的可能;
  • 可以修复本地函数和全局函数,并且不需要引入函数的依赖链;
  • 兼容多种编译型语言(C 语言、C++、汇编等,具体实现不同,但是思路一致)。

使用这种热补丁生成技术,可以解决应用程序几乎所有的安全漏洞。例如最近出现的 QEMU CVE-2017-2615(cirrus 驱动内存越界访问),我们对有 bug 的函数都打上了热补丁,通过替换 bug 函数,实现了在线热修复。

生成热补丁是应用程序热补丁技术框架中非常关键的一个组件,本文介绍了一种自动生成热补丁的技术,但是完整、成熟的热补丁框架还包含了其他技术,例如多线程、管理多个热补丁、多版本管理、热补丁与程序之间的一致性检查等等。接下来,在最后一篇文章中,我们会对这些问题进行解答,并介绍 UCloud 应用程序热补丁技术的完整框架,对框架中各个组件进行解析。


感谢孟夕对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-04-20 19:003035

评论

发布
暂无评论
发现更多内容

阿里大佬熬了三月,总结出了这套分布式架构手册,在Github上疯传!

Java 架构 面试 程序人生 编程语言

内部群炸了!字节同事写了一篇Leetc刷题心得,高管看见之后,直接给他涨了20K

算法 算法题

内卷把同事逼成了“扫地僧”,把 Github 上所有面试题都整理了一遍~足足 24W 字!

Java 程序员 面试

Log4j2同步打印日志导致线程阻塞问题剖析

快看工程技术中心

Java 线程 log4j java反射 异常处理

面对低碳转型 央行的两条思路和五大措施

CECBC

JavaScript 的 undefined和null 的区别与判断

wudaxue

腾讯高工终于把操作系统、TCP/IP、线程与进程、CPU全部讲明白了

Java 架构 面试 操作系统 计算机

数据安全与隐私系列08:大数据与电影《少数派报告》

Databri_AI

人工智能

如何加速云原生数据应用?这个开源项目备受关注

阿里巴巴云原生

阿里云 开源 云原生 Fluid

突发猛进!数字人民币落地推广会召开

CECBC

我仅用了3个月就成功破茧成蝶!从简历被拒到收割8个大厂offer的辛酸历程!

编程 Java、 计算机

多媒体技术之图像频率的概念

轻口味

android 音视频 9月日更

高扩展的系统通常会有什么特性

卢卡多多

系统、 9月日更

Redis核心原理与实践--散列类型与字典结构实现原理

binecy

数据结构 源码阅读 Redis 6.0

音视频同步!RTCP 协议解析及代码实现

RTE开发者社区

音视频 协议 Wireshark 流媒体

剖析反序列化原理基本操作

网络安全学海

黑客 网络安全 信息安全 渗透测试 漏洞分析

阿里耗时三月整理的亿级流量百万并发手册,在上传在GitHub上意外获星90K+

Java 架构 面试 程序人生 编程语言

使用 Chrome 调试 Vue3 的 TypeScript 源码

编程三昧

源码 Vue Vue 3 9月日更

2022前端react高频面试题汇总

buchila11

React

阿里P8连肝三月,终于整理出的完美Java面试宝典,上传到Git上目前star数达到30K+

Java 架构 面试 程序人生 编程语言

java 虚拟机 GC :G1学习笔记

风翱

GC 9月日更

推荐一款 Python 微服务框架 - Nameko

星安果

Python 微服务 Nameko

字节内部不传之秘:1298页算法刷题笔记(附源码可直接运行)

Java 程序员 面试

自研ISP芯片背后:手机厂商的目光在影像之外

脑极体

课程升级 | 极速构建知识体系,即学即用 Serverless

阿里巴巴云原生

阿里云 Serverless 云原生 活动 课程

Prometheus 2.29.0 新特性

耳东@Erdong

release Prometheus 9月日更

Alibaba内部最新Java架构核心宝典 (全彩版小册开源)

Java 架构 面试 程序人生 编程语言

如何做到监控告警的管理?

睿象云

运维 告警 监控告警 运维平台 告警管理

GitHub上120K Stars国内第一的Java多线程PDF到底有什么魅力?

Java 编程 架构 面试 程序人生

网络攻防学习笔记 Day149

穿过生命散发芬芳

9月日更 网络管理

靠着狂刷这份面试题跟答案!我从 15K 变成了 30K!

Java 编程 程序员

应用程序热补丁(二):自动生成热补丁_语言 & 开发_王超_InfoQ精选文章