腾讯云总裁邱跃鹏：大模型将重新定义云上工具和应用

 9 月 7 日，2023 腾讯全球数字生态大会上，腾讯发布了自己的通用大模型混元大模型，腾讯集团副总裁、云与智慧产业事业群 COO、腾讯云总裁邱跃鹏介绍了腾讯云在训练大模型过程中做的措施支持和优化。

据介绍，目前腾讯云已经建立起围绕大模型的全套能力，包括高性能算力集群、云原生数据湖仓和向量数据库等数据处理引擎、以及模型安全、支持模型训练和精调的工具链等，企业、开发者可以根据各自需求，灵活选择产品，降低大模型的训练成本。

训练大模型对算力的要求非常高，GPU 这样的高密算力在训练过程中本身稳定性也要比原来通用计算差一些。每次发生 GPU 卡故障，对整个训练中断的影响、回滚的要求和工程化的要求都非常高。

训练混元大模型期间，腾讯云对自身的云基础设施，从存储、网络到计算进行了全面升级。基于星海服务器，腾讯云把 GPU 的服务器故障率降低超 50%；基于星脉网络，腾讯云可以支持超过 10 万张卡并行计算的大规模训练集群。

在训练过程中，如果发生卡方面的故障，整个训练要被中断、做回滚，这对 checkpoint 写的速度要求非常高，传统的存储服务或者一些商业产品很难满足 checkpoint 写的要求。通过做存储升级，腾讯云可以在 60s 内完成超过 3TB 的数据写入，提高了整体的训练效率。通过存储、计算、网络整体的升级，腾讯云一轮万亿参数的训练可以在 4 天之内完成。

有了足够的算力做模型训练后，下一步就是做原数据的清洗。混元大模型每次更新数据都要做数据清洗。随着数据越来越多，数据清洗过程也会成为制约整个模型迭代升级的重要因素。通过腾讯云的原生数据湖仓和向量数据库，腾讯云可以每秒写入百万级数据，对于海量数据的清洗也达到了 Tbps 级吞吐能力。原数据的清洗性能提升超过了 40%，数据处理的整体运营成本也降低了 50%。据悉，MiniMax、百川等创业公司也在使用腾讯云的解决方案。

在完成了使用算力、清洗和处理数据之后，企业怎样能够更快、更高效地构建行业模型？为此，腾讯云打造了企业模型精调过程中的全栈式研发工具，每个企业可以基于 TI 平台，使用腾讯云的加速框架、基础算力和开源工具等。另外，腾讯的玄武实验室打造了隐私安全解决方案，让模型交互变得更加安全。

邱跃鹏表示，大模型进一步提升了云产品的效能。比如，腾讯云风控大模型、腾讯云 AI 代码助手、腾讯会议 AI 小助手等产品，都因为大模型能力的加持，实现了显著的效率提升和体验优化。目前，腾讯会议 AI 小助手已经正式开放试用申请，同时新推出了国内首个裸眼 3D 视频会议功能。

“云是大模型的最佳载体，大模型将开创下一代云服务的全新形态。”邱跃鹏说道。一方面，高性能的云上算力，成了大模型的最佳助推器；搭载大模型能力的应用，也通过云服务的方式落地。无论是训练大模型、还是使用大模型，都离不开云。另一方面，大模型将重新定义云上工具，效能显著提升，企业可以通过云，使用智能化水平更高、更便捷易用的云产品。