近日，腾讯微信 AI 团队联合 Tencent NLP Oteam 于 GitHub 上发布开源项目派大星“PatrickStar”。该开源项目将聚焦解决 GPT、BERT 等超大模型训练时产生的“GPU 内存墙”问题，使用更为创新的异构内存管理方法，让相同配置的机器能够训练更大的模型，以更节能环保的方式让预训练模型普惠每位 NLP 社区用户。经测试结果显示，派大星性能表现优于微软 DeepSpeed，在不到 5000 元价位的个人游戏电脑上，即可训练一个 7 亿参数的 GPT 模型。
以 GPT、BERT 为代表的预训练模型(PTM)是自然语言处理（NLP）领域的核心技术，但由于 GPU 硬件的存储空间有限，PTM 的可训练规模难以突破，专业人员称之为"GPU 内存墙"，同时， PTM 预训练的过程具备高耗能、高成本、高碳等弊端——往往训练一次万亿级别的预训练模型要烧掉 154 万人民币，消耗的电能制释相当于数十辆小汽车从出厂到报废的碳排放总和。
为攻克该痛点，腾讯微信 AI 团队联合 TencentNLP Oteam 从头搭建了派大星。它通过细粒度的方式管理模型数据，更有效使用了异构内存空间，进一步突破 PTM 模型规模的极限。同时，派大星的设计比同类方法占用更低内存使用，减少了 CPU 和 GPU 之间数据搬移开销，从而显著提升了计算资源的利用率。并且，派大星可以和多种并行训练方式正交使用。比如，派大星使用微软提出的零冗余优化器来实现单机多卡的数据并行。
实验结果表明，派大星将模型规模上限在目前最佳方案 DeepSpeed 的基础上提升了 1.5 倍，并且展现了明显高于 DeepSpeed 的计算效率。这将极大降低了 PTM 训练过程中的碳排放，以技术优化的方式助力低碳环保事业。
目前，派大星已参与到微信搜一搜、微信对话开放平台、小微智能音响等产品研发工作中，助力降低 GPU 卡使用数量，提升机器的利用率，减少数据中心的碳排放规模。接下来，微信 AI 团队也将持续深化开源技术的研发及应用，以创新促进行业发展及生态建设。
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论