全栈算力,加速行业AI落地 了解详情
写点什么

热迁移、RTC 计时与安全加固…腾讯云 KVM 性能优化实践验谈

  • 2017-11-13
  • 本文字数:2884 字

    阅读完需:约 9 分钟

前不久,KVM Forum 大会发布了 2017 年最新 KVM 开源贡献榜,腾讯云因其向 KVM 内核贡献了 46 个 patch,成为全球唯一一家上榜的公有云厂商。据了解,这些补丁大多是腾讯云在实战过程中的经验总结,主要用于改善和解决 KVM 虚拟机在热迁移,时钟计时、嵌套虚拟化等方面的使用问题以及修复一些安全漏洞。

在开源的所有 patch 里,比较引人注目的是,腾讯云率先采用快速写保护、共享脏页位图、优化热迁移块大小等一系列方式,优化热迁移效率以及提升热迁移成功率。那么,它的虚拟机热迁移过程和具体方法是什么?腾讯云又如何看待 KVM 技术开源?KVM 现在面临着哪些新的挑战?带着这些问题,InfoQ 采访了腾讯云高级工程师肖光荣,就腾讯云的 KVM 开源技术与开源思路做了简单交流。

InfoQ:简单阐述一下 KVM 虚拟化技术以及 KVM 和云计算的关系?

肖光荣: KVM 是 Kernel-based Virtual Machine 的简称,KVM 要求 CPU 支持硬件虚拟化技术(如 intel VT 或 AMD-V),是 Linux 下的全虚拟化解决方案。KVM 由处于内核态的 KVM 模块和用户态的 QEMU 两部分构成。内核模块实现了 CPU 和内存虚拟化等决定关键性能和核心安全的功能并向用户空间提供了使用这些功能的接口,QEMU 利用 KVM 模块提供的接口来实现设备模拟、 IO 虚拟化和网络虚拟化等。单个虚拟机是宿主机上的一个普通 QEMU 进程,虚拟机中的 CPU 核(vCPU)是 QEMU 的一个线程,VM 的物理地址空间是 QEMU 的虚拟地址空间(图 1)。

vCPU 线程经过 KVM 模块提供的系统调用进入到宿主机内核态,在内核态切换到 CPU 的非根模式,即 guest 模式,此时虚拟机内的 CPU 获得宿主机 CPU 资源,得以执行。在 guest 模式中,遇到敏感指令无法直接执行,或者有特定的内部异常和外部中断产生,vCPU 会退出到根模式由 KVM 内核或 QEMU 来模拟执行(图 2)。

KVM 虚拟化技术是当前云计算中计算虚拟化的主流技术,是云计算的核心底层能力,使用 KVM 把多台物理机虚拟化后,组成一个大的虚拟资源池,方便用户从资源池中按需分配计算能力,提升资源的使用效率,同时保证多用户资源之间的隔离性、安全性。

InfoQ:腾讯云此次向 KVM 社区贡献的 46 个 patch 主要解决了哪些问题?

肖光荣:这 46 个 patch 是我们在实战过程中的经验总结,用于改善和解决 KVM 虚拟机在实际运营过程中遇到的一些问题,这些 Patch 主要应用在以下三个方面:

  • 时钟方面重构 KVM 的 RTC 计时框架。让 windows 虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。重构 KVM LAPIC Timer 的模式切换和频率调整的模拟,使其完全与硬件行为保持一致。优化 KVM LAPIC Timer 时钟中断注入的延迟。发现并解决了使用硬件辅助的 VMX Preemption Timer 模拟的 KVM LAPIC Timer 时的各种抢占问题。
  • 嵌套虚拟化方面重构异常注入的逻辑。解决了嵌套虚拟化下异常丢失的问题。添加异步缺页异常 (Async Page Fault) 在嵌套虚拟化下的支持。这些问题的解决,使得嵌套虚拟化更加稳定和高效,可以让更多的用户在不导镜像的情况下,将业务迁移上云。
  • 修复 KVM 将宿主机信息外泄的问题。修复 KVM 在模拟 CPUID 指令和处理虚拟机设备访问时,意外地将宿主机上的内存泄露到虚拟机。

InfoQ:腾讯云在虚拟机热迁移技术上有比较明显的突破,能否讲解一下虚拟机的迁移过程以及腾讯云如何提升热迁移性能?

肖光荣:虚拟机热迁移是一项非常重要的技术,热迁移可以在用户几乎无感知的情况下将虚拟机从当前宿主机迁到另外的宿主机,热迁移主要用于解决一些软硬件不可逆场景下的虚拟机可用性问题,如:宿主机硬件批次性隐患、宿主机内核内存泄漏等。腾讯云内部大量地使用热迁移来提升虚拟机的可用性,从近一年的统计数据来看,已经做到虚拟机的可用性大于物理机。

虚拟机的热迁移主要有下面几步:

  • 在目标宿主机上准备虚拟机运行环境,如挂载共享存储,创建虚拟网络等;
  • 从源宿主机建立到目标宿主机的连接,用于传输虚拟机的状态,比如内存;
  • 源端需要捕捉内存的更改并记录在内存传输过程中有哪些页面被改动,这些脏页需要在下一轮迭代中继续传输;
  • 传输全量内存;
  • 本轮内存传输完毕后,如果剩下的脏页数量能在设定的停机时间内传输完毕,那么将虚拟机停机,否则继续传输脏内存,直到脏内存的量收敛到可以在预定时间内传输完成为止;
  • 传输余下的脏内存,以及停机时 CPU 寄存器和各个子系统的状态;
  • 此时源端和目标端的虚拟机状态完全一致,在目标端让虚拟机恢复运行,迁移完毕。

如上所述,源端需要去捕获内存的更改,在当前的环境下是采用写保护和脏页位图的方法,即先把内存全部变为只读,在虚拟机写内存时就会产生异常被 KVM 内核模块捕获并且记录到脏页位图,该脏页位图最后被复制到 QEMU,据此 QEMU 能知道哪些内存被更改。

对于脏页内存的捕获,我们主要通过两大方式提升热迁移效率:1)采用快速写保护算法,该算法是无锁的并且算法复杂度为 O(1),这就意味着它的性能与虚拟机的内存大小和工作负载无关。2)采用 KVM 内核模块和 QEMU 共享脏页位图的方法,实现零拷贝以及减少用户态和内核态的上下文切换。

另外在迁移脏块的时候,针对子机内部 IO 性能下降的问题,优化热迁移块大小,避免传输无用数据,提升热迁移成功率。当然,腾讯云还有很多其他提升热迁移性能和稳定性的优化方法,在此就不一一列举了。

InfoQ:腾讯云如何看待云厂商们对 KVM 开源的贡献和支持问题?

肖光荣:腾讯云一直秉承开放,共享的心态参与开源,凭借庞大的用户群和 KVM 集群规模,腾讯云在 KVM 虚拟化上做了深入的研究和丰富的实践。腾讯云自 2017 年 5 月加入 Linux 基金会以来,更加大了回馈社区的力度。在 KVM 内核领域,已经是贡献度最高的公有云厂商。

过去,大型开源项目一直鲜见中国大型企业的身影,所以开源界一直诟病中国企业只索取不贡献,作为公有云的一线厂商,我们希望通过实际行动转变开源界的看法。

当前 KVM 虚拟化技术是各家云厂商使用的主流虚拟化技术,腾讯云有一个专门负责做开源的团队,该团队一方面将持续创新以来解决腾讯云线上遇到的各种挑战并且将产出反馈给社区,另一方面探索云计算领域的新技术,做好前沿技术的预演和积累。同时我们也希望各大云厂商加大对 KVM 项目的投入,积极参与到社区,共同应对新硬件,新架构给 KVM 带来的挑战。

InfoQ:KVM 技术现在面临着哪些新的挑战?

肖光荣:一方面,Intel 不断推出新 CPU 架构:haswell、broadwell、skylake 到 cascadelake,网络带宽从 10G 到 25G 再到 100G,更新的硬件架构,更高的网络带宽需要更高效的虚拟化才能将硬件的性能充分发挥。另一方面,GPU、FPGA 在 KVM 上的虚拟化、池化有待突破,否则 GPU、FPGA 的整体利用率无法提升。虚拟机网络性能一直是虚拟化的短板,利用智能网卡等技术可以将网络性能做到和物理机旗鼓相当,但同时也让热迁移变得困难。

嘉宾介绍

肖光荣,腾讯云开源团队负责人,操作系统专家。肖光荣在 Linux 内核、KVM 社区工作近十年,是 Ftrace, MM, Networking 等子系统的活跃贡献者。近几年主要工作在虚拟化领域,是 KVM 的核心开发者,Virtual NVDIMM 子系统的维护者。肖光荣向社区提交了大量 Patch,在华人内核贡献者中排名 Top 15,在内核和 KVM 社区拥有巨大影响力。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2017-11-13 21:013197
用户头像

发布了 24 篇内容, 共 99912 次阅读, 收获喜欢 2 次。

关注

评论

发布
暂无评论
发现更多内容

Embedding技术与应用(3):Embeddings技术的实践应用

Baihai IDP

人工智能 深度学习 AI Embedding 白海科技

链游开发,链游定制开发

西安链酷科技

架构实战营 - 模块五作业

王朝阳

架构实战营

ARBT阿尔比特共识铸币模式系统开发源码搭建

l8l259l3365

调用API接口获取淘宝商品数据:实践指南与代码解析

Noah

前端如何防止数据被异常篡改并且复原数据

不在线第一只蜗牛

前端 教程分享

Bitget钱包指南:如何在Base主网上轻松获得空投奖励

威廉META

Java基础面试题【分布式】三 ZAB协议

派大星

分布式, Java 面试题

区块链交易所系统开发

西安链酷科技

NFT开发

使用Python调用API接口获取淘宝商品数据

Noah

Photoshop 2024 for mac(ps 2024) v25.1正式版下载

iMac小白

Photoshop 2024下载 Photoshop 2024破解版

农场游戏NFT链游系统开发设计案例

西安链酷科技

链游开发

交易所开发搭建

西安链酷科技

数字货币 去中心化 交易所 量化 合约

区块链多链数字钱包开发

西安链酷科技

区块链 dapp 去中心化 钱包 多链

Mac电脑屏幕分辨率修改工具SwitchResX正式激活版

mac大玩家j

Mac软件 分辨率调整工具 分辨率处理工具

Proxy下的Prepare透传,让GaussDB(for MySQL)更稳固,性能更卓越

华为云开发者联盟

数据库 后端 华为云 SQL语句 华为云开发者联盟

OpenTiny Vue 组件库支持 Vue2.7 啦!

OpenTiny社区

开源 前端 Vue组件库

Downie 4 for Mac(视频下载工具)兼容14系统 v4.6.33中文版

iMac小白

Downie 4 下载 Downie 4 Mac版 Downie 4破解版

智慧地球软件开发

西安链酷科技

dapp 去中心化 智能管理 合约 智慧地球

简单好用的Xliff文件编辑工具 Xliff Editor激活最新版

胖墩儿不胖y

Mac软件 文件编辑器

BSC链农场游戏系统开发|智能合约DAPP

西安链酷科技

NFT生态链游

区块链开发:区块链和物联网的融合

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

一文概览NLP句法分析:从理论到PyTorch实战解读

EquatorCoco

NLP 大模型 分布式理论

好用到哭!2024年值得你尝试的15款在线画图神器

职场工具箱

消息中间件(rocketMQ 和 kafka 区别)

红袖添香

kafka RocketMQ 消息中间件 分布式消息

只需10分钟!ER图理论知识新手速学

职场工具箱

链游开发DAPP智能合约开发搭建

西安链酷科技

DAPP系统开发

解密 deepin-IDE:如何实现简单灵活的调试技术?

nn-30

ide Linux 调试 操作系统 deepin

OpenAI 工程师平均薪酬 92.5 万美元;SpaceX 明年将每两天发射一次丨 RTE 开发者日报 Vol.81

声网

AnyGo mac 虚拟机定位软件 破解版下载

iMac小白

AnyGo下载 AnyGo激活版 AnyGo中文版

数藏系统开发|NFT数字藏品交易平台搭建

西安链酷科技

数字藏品开发 NFT开发

热迁移、RTC计时与安全加固…腾讯云KVM性能优化实践验谈_DevOps & 平台工程_江柳_InfoQ精选文章