AI 大模型浪潮来袭，软硬件如何再升级？

8 月 16 日，以“合·聚·创 共 IN 智能时代”为主题的“2023 英特尔（中国）学术大会”在南京开幕。会后，华东师范大学副校长周傲英，英特尔院士、大数据技术全球 CTO 戴金权，英特尔研究院副总裁、英特尔中国研究院院长宋继强，英特尔公司副总裁、英特尔中国软件生态事业部总经理李映，英特尔院士、首席编译器性能架构师田新民接受了 InfoQ 在内的媒体采访，进一步就 AI 大模型、开源软件等行业热点话题进行分享。

算力、算法和数据组成了 AI 的三大要素，其中，算力用来支持复杂的计算任务，是底层基础；算法用来决定机器如何处理数据，并作出相应的决策；数据包含 AI 系统所需要的各种信息，其质量和数量决定了算法的效果和性能。

去年年末，ChatGPT 的出现掀起了 AI 大模型热潮。周傲英认为，ChatGPT 的出现代表科技发展已经进入了一个全新的时代。过去是科学引领着技术的发展，而现在则是技术在倒逼着科学的进步，是科学与技术融合发展的时代。

同时，AI 大模型的发展也对算力、算法和数据提出了更高的要求。戴金权在接受采访时表示，从计算角度来看，AI 大模型对算力的需求与日俱增，随着模型参数越来越大，需要更多高质量的数据进行训练，无论是数据中心端、云端，还是在设备端、客户端，背后都依赖于更高效的算力支持。

此前有数据显示，GPT-3 的整个完整训练需要 3.14E11（TFLOPS）的每秒浮点运算量。OpenAI 首席执行官 Sam Altman 曾在接受采访时指出，GTP-4 需要的计算量为 GTP-3 的 10 倍；GTP-5 需要的计算量为 GTP-3 的 200-400 倍。

在 AI 大模型浪潮下，算力、算法和数据三者需要更高效地有机结合发展。“现在没有人知道算力、算法和数据如何能更好地结合，没有标准答案。但我们可以想象，这三要素如何能够更好地结合在一起进行更多的创新，有更高的效率、更高的准确度以及更好的应用场景支撑，这是非常关键的地方。至于具体怎么做？就像周傲英校长所说，技术倒逼科学，可能更多的还是需要在实践当中探索，然后在通过原理上科学上的突破得到一些指导，是一个螺旋上升的发展。”戴金权总结道。

AI 大模型时代下的软硬件协同：软件定义、芯片增强

AI 大模型的发展给神经网络架构及应用场景带来巨大改变。神经网络架构经历了从 CNN（卷积神经网络）到 RNN（循环神经网络），再到 Transformer 的演变。而从应用场景来看，从 AlphaGo 到自然语言处理，再到 ChatGPT，AI 的应用场景更加广泛。

戴金权认为，AI 大模型的技术逻辑是连贯的，关键在于如何能够高效地支持这些不同的神经网络架构，如在训练、微调以及推理等方面的需求。“比如说之前 CNN 都是计算密集型的，而今天 Transformer 这样的架构很多都是内存带宽密集型的。从某种意义上来说，如果我们能够更好地理解不同神经网络对计算能力的要求，并从软硬件结合的角度考虑如何以更优化的方式提供支持，那就能够更好地满足各种不同类型的 AI 需求，包括生成式 AI 带来的新的算力需求。这也是周傲英校长所强调的，我们需要从技术原理和基础架构出发，探索如何更高效地支持不同的 AI 应用。”

据了解，英特尔一直致力于通过软硬件结合来加速 AI 的发展，并提出了“软件定义、芯片增强”的理念，即用软件来定义所需的计算能力，再从硬件角度来提供匹配的增强和支持。硬件方面，英特尔推出了多款针对 AI 应用的处理器和加速器，如今年发布的第四代英特尔®至强®可扩展处理器（代号“Sapphire Rapids”）、英特尔®至强®CPU Max 系列（代号“Sapphire Rapids HBM”）以及英特尔®数据中心 GPU Max 系列（代号“Ponte Vecchio”）。软件方面，英特尔提供了多种 AI 开发工具和框架，如 oneAPI、OpenVINO 等等。

Intel 20A 与 Intel 18A 背后的技术创新

在芯片制造方面，英特尔设立了“四年五个制程节点”目标，这五个节点分别是 Intel 7、Intel 4、Intel 3 和 Intel 20A、Intel 18A。Intel 7 的时候英特尔使用 DUV 光刻机，从 Intel 4 开始使用 EUV、Intel 3 全面使用 EUV，Intel 20A 开始采用高数值孔径的 EUV 光刻机，这意味着可以刻画更细的特征尺寸、分辨率更高，可以减少工艺流程的复杂度，降低缺陷

宋继强表示，从 Intel 20A 到 Intel 18A，在这个阶段，英特尔有信心回到制程的领先地位。这背后，英特尔实现了多种创新技术，如半导体晶体管制造结构上的创新，像全环绕栅极晶体管 RibbonFET 和背面供电技术 PowerVia。同时，英特尔还依赖了重要的工具，比如高数值孔径（High-NA）的 EUV 技术，并在多个环节中大规模应用，以确保在 2 纳米以下工艺获得良好的产率和晶圆制造的稳定性。“能够率先把高数值孔径（High-NA）EUV 技术给用好，是很重要的事。这两者的结合使得我们有信心在制程上重新取得领先地位。”

在提高工艺的良率和稳定性方面，宋继强认为需要通过大规模芯片制造来进行验证。“这个验证不仅仅限于英特尔内部的芯片，而是扩展到了更广泛的范围。我们的 IDM2.0 战略采用了内部代工模式，使英特尔的制造部门能够同时对内部和外部客户提供产能。所以，未来我们在 Intel 20A 和 Intel 18A 上将不仅仅生产英特尔自身的产品，还将为外部客户提供英特尔代工服务。”

oneAPI 如何支持异构计算？

oneAPI 是英特尔推出的一个跨平台的软件开发工具集和编程模型，旨在简化并加速异构计算的开发过程。据介绍，oneAPI 最初的设计理念就是帮助开发者提高生产力、可移植性和性能。基于这一设计理念以及开源策略，oneAPI 具有高度的可扩展性。去年年末，oneAPI 2023 工具包正式上线，增加了对新的 Codeplay1 插件的支持，使开发者能更容易地为那些非英特尔的 GPU 架构编写 SYCL 代码。

田新民在接受采访时表示，oneAPI 是从编程模型和编译器模型两方面，来帮助用户和开发者从原有的计算模式转移到异构计算模式上来的。

编程模型方面，英特尔 GPU 支持两种编程模型，既支持 SIMT（Single Instruction Multiple Threads，单指令多线程），也支持传统的 SIMD（Single Instruction Multiple Data，单指令多数据），这样在现有所有 CPU 上能运行的系统，能够更顺利地转移到异构计算的模式上。

编译器模型方面，oneAPI 提供了两种编译方式来支持异构计算：Just-In-Time (JIT)、Ahead-of-Time (AOT)。Just-In-Time 指的是很多软件在静态编译的时候没有办法生成优化代码，因为不知道这些参数。oneAPI 支持 Just-In-Time，在运行时让编译器来实时编译。因为运行时很多数据参数就已知了，基于已知的参数来产生更有效的代码，这是支持更高效的异构计算的一种方式。另外，Ahead-of-Time，因为运行时做编译优化是需要有一些额外的开销（overhead），开发者认为对运行时的负作用比较大，就会选择 Ahead-of-Time 的支持，在运行之前就尽可能地让编译器生成所有的可以最终执行的代码，不需要生成中间表示（IR），再在运行时生成代码。“我们提供了这两种方式来支持异构计算，让不同的用户针对所用异构计算的特性来决定需要用哪种方式。”田新民说道。

此外，在可靠性和稳定性设计上，田新民表示，除了编译器和运行时序系统，oneAPI 有很多检测、分析、调试工具，让开发者能够有效的在 GPU 上调试代码。同时，从体系结构设计角度来看，让整个系统的模块化设计之间的相关性更明确，能够减少犯错的几率。

成立开源技术委员会，英特尔有哪些思考？

今年 2 月，英特尔中国开源技术委员会正式成立。在接受采访时，李映介绍了英特尔中国开源技术委员会的成立背景、重点工作内容以及未来发展方向。

李映表示，英特尔中国开源技术委员会的成立背后，有几个重要因素：

第一，开源已经从原来的商业软件对立方，慢慢变成了有效的补充方。如今，很多公司把开源作为自己的技术战略，并成立开源技术委员会。开源技术委员会的级别逐渐提高，其影响力也在逐步扩大，覆盖的公司范围也越来越广。英特尔的开源技术委员会也是在这样一个大趋势下成立的。最近两年，英特尔有两个重要的转变，一是软件优先的转变，二是重新聚焦到开源，将开源建立成为英特尔整个软件战略的核心的组成部分。

第二，开源社区在中国正蓬勃发展。在过去，中国更多地使用国际开源项目，而如今从数量、项目种类和广度来看，中国开源生态发生了转变，不再只是取用，而是主动地去贡献，去引导整个开源国际趋势的发展。比如 Linux、CNCF 等等，其中很大一部分贡献来自中国。

开源是整个英特尔中国 2.0 的一部分，在英特尔中国 2.0 战略下，英特尔成立了开源技术委员会，目前在中国，英特尔有 10 个开源技术委员会成员，每个委员都有两个入选标准，一个是在各自的领域里，必须拥有在开源方面的专业能力和影响力，二是和中国业务直接相关。基于开源技术委员会，英特尔在内部设立了各种机制，一方面是对公司内部的开源项目进行更好的流程上和创新上的加速；另一方面，英特尔与合作友商的开源技术委员会建立了很好的定期沟通和交流机制；此外，英特尔也开始积极参与到中国的一些开源项目或者是活动当中。

李映表示，今年英特尔中国开源技术委员会更多的工作是建立组织，并和各合作伙伴建立联系。下一步，英特尔中国开源技术委员会将聚焦在创新层面，对开源项目做提升、加速以及商业化。“我们的开源技术委员会主要有四个部分的工作：第一个我们称之为创新，也就是更多是通过跟业务部门以及研发部门合作，去发掘、培养创新项目；第二个是标准，大家知道在中国有很多的基于开源的各种标准，我们会和这些开源标准组织产生紧密合作；第三个是社区，也就是说更多是和我们的合作伙伴，包括 CSP 和客户之间的开源组织进行更多合作，加速我们的业务发展；第四个是流程，因为实际上英特尔全球也有相应的开源组织，我们更多的是和总部建立联系，把英特尔整个全球的开源策略和开源流程在中国落地，以保证整体的一致性。”