“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

基础为零?如何将 C++ 编译成 WebAssembly

  • 2019-12-23
  • 本文字数:5800 字

    阅读完需:约 19 分钟

基础为零?如何将 C++ 编译成 WebAssembly

WebAssembly 是一个 W3C 推出的二进制指令格式,近日它的 1.0 版本也正式定稿成为了规范,关于它的基本概念这里不再展开介绍了,网上已经有很多文章了,大家可以自行了解,推荐阅读官方文档①、spec 仓库②、MDN 的教程③、以及 Lin Clark 的文章④,其他随意。


能编译成 wasm 的语言有很多,C++ 和 Rust 是其中两个比较成熟而且大量被使用的,本文以 C++ 为例,一步一步介绍 如何把 C++ 代码编译成 wasm 并且运行起来。例子很简单,相信不了解 C/C++ 开发的同学也能看懂。


说是 C++ 其实本文用到的代码都是纯 C 的。


文章用到的源码和编译脚本都在https://github.com/Hanks10100/cpp2wasm

Hello World!

首先,我们来编译一个 C 语言的 Hello World,创建一个 hello.c 文件:


#include <stdio.h>
int main() { printf("Hello World!\n"); return 0;}
复制代码

编译成可执行文件

代码就是输出了一句 Hello World! ,使用 clang 或 gcc 或很多工具都可以把这段代码编译成可执行的二进制,找不到命令的话,可以在网上找教程配置一下。以 clang 为例:


clang hello.c -O3 -o out/hello
复制代码


-O3 表示了优化级别, 生成的可执行文件是 hello ,但是这个文件只能在特定平台上执行,在 windows 上编译出来的文件没办法跑在 mac 上(不绝对),在 32 位系统编译出来的文件无法跑在 64 位系统上。


然而如果把它编译成 wasm 就可以跨平台分发了,这也是 wasm 的一大优势。只需要编译一次,同一个 wasm 包,可以运行在浏览器中、Node.js 中、各种独立的 runtime 里,但是要求目标平台具备执行 wasm 包的能力,而且符合规范。

WebAssembly 的编译和运行流程

在编译 WebAssembly 之前先了解一下它基本的编译和运行流程,想要以何种方式运行 wasm 的包,决定了以何种方式来编译它。


目前来看,大部分使用 WebAssembly 的例子都是运行在浏览器中的,有一部分运行在 Node.js 里,和 JS 的渊源很深,因为在标准里定义了一套 JS API 来编译、实例化 wasm 文件,这部分 API 已经被 JS 引擎实现了,功能已经稳定可用。因此,wasm 最常见的是搭配 js 一起使用,这种场景下用 Emscripten ⑤ 可以搞定,它在编译 wasm 包的同时也会生成一份 js “glue” 代码,把 wasm 包的初始化接口导入导出都封装在 js 里了,使用时引入这个 js 文件即可。


Emscripten 也支持编译成独立的 wasm 包(不含 JS),但是想要运行这个 wasm 包需要宿主环境给它注入很多基础的 API,而且这些 API 是非标准的。如果想在 JS 环境里运行独立 wasm 包的话,要用 JS 实现这些 API。


其实 WebAssembly 本质上和 JS 无关,完全可以运行在独立的沙箱环境里,通过标准化的 API (wasi ⑥) 来调用系统能力。现在已经有不少 wasm 的独立运行时了,如 Wasmtime ⑦ 和 wasm-micro-runtime ⑧,它们都可以加载并独立执行 wasm 文件,并且实现了一致的 wasi 接口。


关于 wasi,推荐阅读《Standardizing WASI: A system interface to run WebAssembly outside the web》 https://hacks.mozilla.org/2019/03/standardizing-wasi-a-webassembly-system-interface/



如上图所示,面对自己的 C/C++ 代码,想要把它运行在浏览器或 Node.js 中,就使用 Emscripten 把它编译成 wasm + js 文件;想要把它运行在独立的运行时里,就使用 wasi-sdk ⑨ 进行编译,生成单独的 wasm 包。(此结论简单粗暴,为了方便理解,并不严谨)

使用 Emscripten 编译

首先安装官方文档安装 Emscripten (https://emscripten.org/) ,安装完成后命令行环境里会有 emcc 命令,使用方式和 gcc 差不多,执行如下代码就可以生成 wasm 的包:


emcc hello.c -O3 -o out/hello-emcc.wasm
复制代码


但是,上面这个命令隐含了 -s STANDALONE_WASM 的配置 ,实际上触发的是 WebAssembly Standalone build ⑩,只生成了一个 wasm 的包,需要自己写 loader 加载和执行。如果不想费这个劲,就可以使用如下命令直接生成 wasm + js 文件:


emcc hello.c -O3 -o out/hello-emcc.js
复制代码


该命令除了生成 js 文件以外,还会生成同名的 hello-emcc.wasm 文件,可以使用 WABT ⑪ (WebAssembly Binary Toolkit) 提供的小工具把 wasm 文件转成对等的文本格式,方便阅读。


wasm2wat out/hello-emcc.wasm -o out/hello-emcc.wat
复制代码


代码比较短,但是生成出来的 wasm 文件有 2.1KB,js 文件 16KB,主要是因为 stdio.h 头文件里有很多依赖,在运行时是由 js 代码来实现的。用 wasm 做 io 本身也不是个好的用法。


最后,直接在 Node.js 环境里执行这个 js 文件就行了,可以看到控制台输出了 Hello World! 。


node out/hello-emcc.js
复制代码

使用 wasi-sdk 编译

首先根据自己的系统下载相应的 wasi-sdk ,配置好环境变量之后,就可以调用其中自带的 clang 工具编译生成 wasm 文件:


clang hello.c -O3 -o out/hello-wasi.wasm
复制代码


大概率跑不通…… 因为要配各种环境变量还要指定 sysroot 才行。假如你下载的是 8.0 版本,放到了个人目录之下,可以用下面这个命令编译代码,不需要配置环境变量:


 
复制代码


如果是 Mac 电脑,遇到安全提示,在【系统偏好设置】-【安全与隐私】-【通用】里,找到“允许以下位置下载的 App”的配置,下方应该有提示信息,点击允许就可以了。


打出来包之后,可以用 file out/hello-wasi.wasm 命令检查一下生成的包格式对不对,有如下输出才是正确的,否则你打出来的很可能是个原生的二进制文件。


hello-wasi.wasm: WebAssembly (wasm) binary module version 0x1 (MVP)
复制代码


同样,可以用 wasm2wat 工具生成可读的文本格式,方便看代码:


wasm2wat out/hello-wasi.wasm -o out/hello-wasi.wat
复制代码


想要运行这个 wasm 包,需要有独立的运行时,理论上讲,所有实现了标准 wasi 接口的 runtime 都可以执行这个包。以 Wasmtime (https://wasmtime.dev/)为例,安装好后,用下方命令就可以执行这个 wasm 文件,会看到控制台有 Hello World! 的输出:


wasmtime out/hello-wasi.wasm
复制代码


另外,如果不想在电脑上装这些独立运行时,还有个神奇的网站https://wasi.dev/polyfill/)可以在线运行基于 wasi 接口的 wasm 包。这个网站在浏览器环境里实现了一份 polyfill,对等实现了原生 wasm 运行时的一部分功能。把刚编译好的 hello-wasi.wasm 文件传上去,也可以看到 Hello World! 的输出。


编译独立模块

然而在实际情况中,并不是所有包都想自执行,不一定都有 main 函数,大部分 wasm 包是想提供一些 api 供外部调用。自己打印 Hello World 没有任何意义,要和宿主环境有交互才行。


下面以斐波那契数列为例,介绍如何编译一个独立的 wasm 模块。C 语言代码如下:


int fib (int n) {  if (n <= 0) return 0;  if (n <= 2) return 1;  return fib(n - 2) + fib(n - 1);}
复制代码

使用 Emscripten 编译

这次代码里没了 main 函数,只有一个 fib 函数,而 Emscripten 默认只导出 main 函数,所以在编译时加上 EXPORTED_FUNCTIONS 的配置指定导出的接口,其他同上:


emcc fib.c -s EXPORTED_FUNCTIONS='["_fib"]' -O3 -o out/fib-emcc.wasm
复制代码


编译 C/C++ 的时候函数名会默认加上 _ 前缀,所以导出的接口名是 _fib 而不是 fib 。


这次生成的包很小,把它转成文本格式后只有 27 行,代码如下:



可以看到这个包只导出一个了 _fib 函数,函数接受 i32 数字为参数,返回一个 i32 数字。想要在 JS 环境里运行起来这个包,需要用 js 代码来加载执行这个包,可以封装如下函数:


// 编译并实例化 wasm 模块,返回导出的接口async function loadWebAssembly (filename, env) {  const filePath = path.resolve(__dirname, filename)
// 读入 wasm 文件的二进制代码 const buffer = fs.readFileSync(filePath)
// 将 wasm 包实例化并传入外部接口,因为没有外部依赖,不传 env 也可以的 const results = await WebAssembly.instantiate(buffer, { env: Object.assign({ '__memory_base': 0, '__table_base': 0, memory: new WebAssembly.Memory({ initial: 256, maximum: 256 }), table: new WebAssembly.Table({ initial: 0, maximum: 128, element: 'anyfunc' }) }, env) })
// 返回实例化好之后的接口 if (results && results.instance) { return results.instance.exports }}
复制代码


然后使用这个函数加载 wasm 文件:


  console.log(apis._fib(13))  // 输出 233})
复制代码


完整代码https://github.com/Hanks10100/cpp2wasm/blob/master/loader.js

使用 wasi-sdk 编译

这次 wasi-sdk 的编译选项稍微复杂了一些:


~/wasi-sdk-8.0/bin/clang --sysroot ~/wasi-sdk-8.0/share/wasi-sysroot fib.c \  -nostartfiles -fvisibility=hidden -Wl,--no-entry,--export=fib \  -O3 -o out/fib-wasi.wasm
复制代码


第一行和第三行其实没变,只是加了第二行指定导出的接口并添加其他的优化编译选项,具体每个字段的含义(我也不懂)我就不解释了,感兴趣的话自行搜索吧。


生成的包也很小,转成文本格式后代码如下:



同样是内部定义了 fib 函数并 export 出来,同时还定义了 table 和 memory 而且把 memory 导出,table 是用来存放间接调用的函数表,memory 定义了初始内存大小,这个例子里并没用到,可删掉。


运行这个包的方式和上面一样,加上 --invoke 可以指定调用的接口,可以传递参数:


wasmtime out/fib-wasi.wasm --invoke fib 7
复制代码


上面的命令会输出 13 。


另外,因为这个例子没有外部依赖,所以生成的包对环境没什么要求,上面用 Emscripten 生成的 fib-emcc.wasm 这个包,也是可以用 Wasmtime 来执行的,调用方法一致:


wasmtime out/fib-emcc.wasm --invoke _fib 13
复制代码

简单分析

一个简单的 hello world 为什么编译出来这么多代码?编译工具到底干了啥?为什么还要有个 js 文件?


这些问题与 WebAssembly 的技术特点有关。WebAssembly 本质上讲就是一种二进制格式而已,一个 wasm 文件可以认为就是一个独立的模块,模块的包格式如下:



开头是个固定的硬编码,然后是各种 section ⑫,所有 section 都是可选的,其中 type section 是声明函数类型的,还有 function, code, data 这些 section 都是封装内部逻辑的,start section 声明了自执行的函数,另外还有 table, global, memory, element 等。最需要外部关注的,与外界环境交互的是 import section 和 export section,分别定义了导入和导出的接口。


简单粗暴点讲 WebAssembly 只定义了导入和导出的接口和内部的运算逻辑,想要使用到宿主环境的能力,只能声明出依赖的接口,然后由宿主环境来注入。例如发送网络请求、读写文件、打日志等等,不同宿主环境中的接口是不一样的,wasm 包里声明了一套自己想要的接口,宿主环境在实例化 wasm 模块的时候,按照 wasm 自己定义的格式,把当前环境的真实接口传递给它。


以 hello.c 为例,它有对 <stdio.h> 头文件的依赖,虽然代码没有读写文件,但是头文件里包含了这类接口,所以生成的 wasm 包里声明了需要导入 io 相关的接口。下面是 Emscripten 生成的 wasm 包对应的文本描述(不含 -O3 优化),hello-emcc.wat 文件开头的一部分:



可以看到它依赖宿主环境注册大量 env 接口,只有正确注入了这些接口才能确保 wasm 包可以正确的运行起来。在 Emscripten 同时生成的那个 js 文件里,就包含了这些接口的实现,在实例化 wasm 的时候自动注入进来,是它的内部逻辑,外部使用的时候不必关心。


这些接口都是什么玩意儿……?看起来像非标准的东西, __syscall140 和 __syscall6 分别是干啥的?不知道函数功能也不知道参数含义,不用 Emscripten 生成的 js 文件,完全不知道该怎么实例化这个 wasm 包,所以在运行 wasm 的时候就必须带上一份厚重的“js glue”。


再来看一下 wasi-sdk 生成的文件,需要导入的接口就可读多了:



里面的 proc_exit 和 fd_write 等接口,就是 wasi 定义的标准接口 ⑬,只要宿主环境按照规范实现了这些接口,就可以运行这个 wasm 包。而且这些 wasi 接口也不是用 js 实现的,性能更好一些,也完全不依赖 js 引擎。


其实在 Emscripten 里生成的 __syscall140 就是要查找文件,基本等价于 fd_seek , __syscall6 基本等价于 fd_close ,但是前者没有语义而且非标准,强依赖 Emscripten 生成的 js 文件才能运行,而 wasi 接口就具备了更好的性能和跨平台能力。这就是标准化的力量,也是 WebAssembly 的一个发展方向。

性能对比

就不到十行代码还好意思做性能对比…… 我觉得低于 200 行代码跑出来的性能测试都不太靠谱。而且执行 js 和执行 wasm 的链路不一样,编译工具的优化程度不一样,编译出来的包依赖的接口也不一样,太多不确定性,测出的数据里都是噪声。在之后的文章里,我会用复杂的例子来测试 WebAssembly 的性能。(挖坑)

接下来干什么

文章写的很浅显,目的是让不懂 C/C++ 不懂 WebAssembly 可以快速入门。我觉得 WebAssembly 目前的一个问题是没有很明确、很具体的使用场景,大部分人都或多或少了解这个技术,知道整体的发展方向,但是觉得无从下手,最多是在某个环节中做小规模尝试。


我也尝试着把一个完整的 C++ 项目(约 2W+行代码)编译成了 WebAssembly,并且能在浏览器和 Node.js 环境里跑起来,只是为了深入研究 WebAssembly 这项技术,未必是一个很适合使用 WebAssembly 的场景。写 demo 和真的把 WebAssembly 用起来,中间的差距还是很大的,这篇文章是一个引子,我在下一篇文章里详细介绍一下我在过程中遇到的问题和解决方案。


文中链接:


1 https://webassembly.org/


2 https://github.com/WebAssembly/spec


3 https://developer.mozilla.org/en-US/docs/WebAssembly


4 https://hacks.mozilla.org/author/lclarkmozilla-com/


5 https://emscripten.org/index.html


6 https://wasi.dev/


7 https://github.com/bytecodealliance/wasmtime


8 https://github.com/bytecodealliance/wasm-micro-runtime


9 https://github.com/CraneStation/wasi-sdk


10 https://github.com/emscripten-core/emscripten/wiki/WebAssembly-Standalone


11 https://github.com/WebAssembly/wabt


12 http://webassembly.github.io/spec/core/binary/modules.html#sections


13 https://github.com/bytecodealliance/wasmtime/blob/master/docs/WASI-api.md


本文转载自公众号淘系技术(ID:AlibabaMTT)。


原文链接


https://mp.weixin.qq.com/s?__biz=MzAxNDEwNjk5OQ==&mid=2650404876&idx=1&sn=713633ee025f1a12a0ea657d28af1e91&chksm=83953014b4e2b902388d2f144ae348bae5ba1700ea4c7c71bb867a4a143b399340ede018db7d&scene=27#wechat_redirect


2019-12-23 09:303067

评论

发布
暂无评论
发现更多内容

互联网大数据时代,全媒体广告该如何发展?全媒体广告投放代理如何生存?

吴老师讲业

广告 “互联网+” 全媒体广告投放代理

实际上手体验maven面对冲突Jar包的加载规则 | 京东云技术团队

京东科技开发者

maven pom jar 包部署 企业号 7 月 PK 榜

开创未来用户体验的新篇章 | 社区征文

HelloWorld杰少

年中技术盘点

MobTech 秒验审核流程指南

MobTech袤博科技

程序员 前端

基于Taro开发京东小程序小记 | 京东云技术团队

京东科技开发者

小程序 taro 小程序管理 企业号 7 月 PK 榜

Nautlius Chain主网正式上线,模块Layer3时代正式开启

西柚子

Ubuntu 20.04系统编译安装MySQL5.7教程。

百度搜索:蓝易云

MySQL 云计算 Linux ubuntu 运维

金融机构上堡垒机的三大理由看这里!

行云管家

网络安全 信息安全 金融 堡垒机

中企出海,强大数智底座助力提升多维组织能力

用友BIP

数智底座 中企出海

区块链游戏六月月报: 市场分析,机遇与挑战

Footprint Analytics

区块链游戏 NFT gamefi

大语言模型的预训练[5]:语境学习、上下文学习In-Context Learning设计以及ICL底层机制等原理详解| 社区征文

汀丶人工智能

人工智能 自然语言处理 nlp 年中技术盘点 ICL

全域Serverless化,华为云引领下一代云计算新范式

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

国外虚拟主机为您提供高性能与稳定性的完美结合!

一只扑棱蛾子

虚拟主机 国外虚拟主机

解决直播间源码音视频不同步问题的有效方式——山东布谷科技创作

山东布谷科技

软件开发 实时音视频 源码搭建 直播源码 直播间

软件测试/测试开发丨Linux 数据处理三剑客学习笔记

测试人

Linux 程序员 软件测试 grep awk

QCN9074 QCN9024 What’s the Difference?|WIFI6E

wallyslilly

QCN9074 QCN9024

让代码优雅起来:记一次代码微重构实践 | 京东云技术团队

京东科技开发者

代码重构 优雅 企业号 7 月 PK 榜

为什么说Raft原生系统是流式数据的未来?

高端章鱼哥

raft raft共识算法

微服务部署架起App开发运维的高速通道

Onegun

微服务 部署与维护 部署架构

Prompt Learning,In-content Learning区别| 社区征文

汀丶人工智能

人工智能 prompt learning 年中技术盘点 指示学习 instruction learning

如何快速理解复杂业务,系统思考问题?

阿里技术

理解业务 系统思考

浅谈一下企业IT运维痛点以及好用的运维软件推荐

行云管家

云计算 运维 IT运维

ControlNet新玩法!一键生成AI艺术二维码QR

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

大模型的出现及我的思考 | 社区征文

于仔学技术

人工智能 大模型 社区征文 AIGC 年中技术盘点

【会议】2023 年第二十届 ChinaJoy 展前预览(同期会议篇-CGDC)正式发布!

CGDC中国游戏开发者大会

设计 开发 游戏开发 ChinaJoy

流程编排及可视化 | 京东云技术团队

京东科技开发者

可视化 可视化开发 流程编排 企业号 7 月 PK 榜

Ubuntu 20.04系统编译安装PHP教程。

百度搜索:蓝易云

php 云计算 Linux ubuntu 运维

创新 = 颠覆?AI创新如何做大蛋糕

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 7 月 PK 榜

Flink CDC & MongoDB 联合实时数仓的探索实践

Apache Flink

大数据 flink 实时计算

JavaScript 的优雅编程技巧:Singleton Pattern

控心つcrazy

JavaScript 设计模式 单例模式

前端不死:新兴技术与前端未来展望 | 社区征文

维李设论

大前端 前端工程师 年中技术盘点 前端趋势 前端未来

基础为零?如何将 C++ 编译成 WebAssembly_编程语言_张翰(门柳)_InfoQ精选文章