腾讯发布超大预训练系统派大星，聚焦解决 BERT 等超大模型训练时的“GPU 内存墙”问题

近日，腾讯微信 AI 团队联合 Tencent NLP Oteam 于 GitHub 上发布开源项目派大星“PatrickStar”。该开源项目将聚焦解决 GPT、BERT 等超大模型训练时产生的“GPU 内存墙”问题，使用更为创新的异构内存管理方法，让相同配置的机器能够训练更大的模型，以更节能环保的方式让预训练模型普惠每位 NLP 社区用户。经测试结果显示，派大星性能表现优于微软 DeepSpeed，在不到 5000 元价位的个人游戏电脑上，即可训练一个 7 亿参数的 GPT 模型。

以 GPT、BERT 为代表的预训练模型(PTM)是自然语言处理（NLP）领域的核心技术，但由于 GPU 硬件的存储空间有限，PTM 的可训练规模难以突破，专业人员称之为"GPU 内存墙"，同时， PTM 预训练的过程具备高耗能、高成本、高碳等弊端——往往训练一次万亿级别的预训练模型要烧掉 154 万人民币，消耗的电能制释相当于数十辆小汽车从出厂到报废的碳排放总和。

为攻克该痛点，腾讯微信 AI 团队联合 TencentNLP Oteam 从头搭建了派大星。它通过细粒度的方式管理模型数据，更有效使用了异构内存空间，进一步突破 PTM 模型规模的极限。同时，派大星的设计比同类方法占用更低内存使用，减少了 CPU 和 GPU 之间数据搬移开销，从而显著提升了计算资源的利用率。并且，派大星可以和多种并行训练方式正交使用。比如，派大星使用微软提出的零冗余优化器来实现单机多卡的数据并行。

实验结果表明，派大星将模型规模上限在目前最佳方案 DeepSpeed 的基础上提升了 1.5 倍，并且展现了明显高于 DeepSpeed 的计算效率。这将极大降低了 PTM 训练过程中的碳排放，以技术优化的方式助力低碳环保事业。

目前，派大星已参与到微信搜一搜、微信对话开放平台、小微智能音响等产品研发工作中，助力降低 GPU 卡使用数量，提升机器的利用率，减少数据中心的碳排放规模。接下来，微信 AI 团队也将持续深化开源技术的研发及应用，以创新促进行业发展及生态建设。