0 开源依赖，任度大模型双网络架构实现数推分离

在大模型技术发展浪潮中，ScalingLaw（尺度定律）曾是业界遵循的重要法则。然而，知名科技媒体《TheInformation》报道称 OpenAI 下一代旗舰模型 Orion 训练效果或远不及预期，与 GPT-4 相比，Orion 性能提升也许微乎其微。这引发了业界对大模型技术发展路径的深度思考：ScalingLaw 是不是大模型的唯一方向？

基于 ScalingLaw 的大模型落地面临重大瓶颈。一方面，大模型成本高昂且技术同质化严重。同时，如何让大模型有效学习客户数据并成为客户业务领域专家，是一个挑战。若将数据提供给大模型服务商进行训练，数据安全难以保障；若企业自行训练，不仅算力和人才成本高，而且微调模式还可能削弱大模型通用能力。另一方面，采用基于向量检索的模式难以保障输出结果的准确性。

近日，传神语联网网络科技股份有限公司董事长何恩培先生在公开场合发表了《基于双网络架构数推分离大模型的探索与实践》主题演讲，并提出：大模型正在从 ScalingLaw 时代进入“实时学习”时代，回答大

模型沿着什么样的技术路径能满足客户应用落地、为技术探索开辟新的思路，引发了业内专家们的热烈讨论。

双网络架构实现数推分离，走出技术沙漠

在 ScalingLaw 指引下，大模型厂商为提升模型能力，不断扩大预训练数据、训练算力并扩大模型参数规模。但其背后争议在于资源需求庞大，如 GPT-4 已使用约 2 万多张显卡，未来模型算力需求可能达数十万甚至上百万张显卡，引发对资源消耗的担忧，也带来过高的探索成本。

面对技术路线问题，何恩培认为，ScalingLaw 曾在过去为人工智能发展立下汗马功劳，但单纯依赖它进行集中式暴力训练已显露诸多弊端。大模型追求的是“聪明”，在实际场景中发挥作用，而非参数越来越大。因此，集中式预训练模式值得重新审视，实时学习和训练模式更具探索价值。

实际上，在大模型的三要素中，算法占主导地位，它决定训练数据规模和训练算力消耗，算法的同质化必然导致数据规模和训练算力的同质化，最终造成输出能力的趋同。

因此大模型在相同参数下，如果模型的算法和架构更先进，则需要的训练算力越小，训练数据也越少，且不影响模型的能力，甚至在部分指标上可以超越常规架构大参数的模型。相比之下这种采用高效算法和架构的小参数模型更适合商业落地，而且也可以满足通用场景的需求。

传神的任度大模型走了一条算法突破之路，以双网络架构实现数推分离，将推理网络与数据学习网络分离，走出了技术沙漠。

企业数据学习网络如同人类左脑，专注于数据的动态管理与迭代训练，持续为模型注入知识养分；推理网络则如同人类右脑，作为经大量数据预训练的基础网络，具备不错的推理和泛化能力。双网络协同工作显著降低了训练算力成本，有效避免微调训练造成的基座模型能力退化和泛化能力减弱等问题。数据学习网络可以让数据不出域，在企业现场学习历史数据和业务运营中的新数据，解除了企业对数据安全的担忧。

何恩培将数据训练过程类比于人类的知识学习，任度采用了数推分离技术架构，在预训练阶段仅需要适量训练数据，正如人类通过阅读几百本书就能获得一定的智慧。

同时，数推分离的双网络架构突破了常规大模型技术架构限制，上下文输入长度不受限，可将 1 亿字数据压缩到神经网络中实现深度知识理解。任度大模型可以大大降低训练和推理的硬件投入成本，实现极为接近实时的数据学习效果，哪怕企业只有极少量数据更新，也能快速上传并完成数据压缩。

在数推分离模式下，更新数据的网络压缩对推理网络影响微乎其微，能广泛适应各种场景，灵活处理各类数据操作，训练时间可缩短至分钟级。

全栈根原创，实现 0 开源依赖

任度大模型的数推分离双网络架构，最大的意义在于，从底层算法框架到上层应用都是全技术栈自主研发的成果，未使用任何开源代码和框架。

“我们自主研发了机器学习算法框架和模型架构，这使得我们的任何想法和创新都可以不受限制地去实践，让任度大模型具备实时学习客户数据的能力。在国内外，能做到这一点的企业为数不多。”何恩培强调。

任度大模型目前拥有 2.1B 和 9B 两个版本，其中多模态 9B 参数版本在全球评测中，已跻身全球大模型行业第一梯队。在多项国内外评测中，任度 9B 模型与百亿千亿参数大模型的对比中脱颖而出，以更少参数实现领先性能。同时，2.1B 参数版本在 2024 年 9 月的 MMLU 评估中，综合评分超越了 Gemma-7B、LLaMA2-34B 等知名大模型，性参比更是超越了包括 GPT-4o、Phi-3、Qwen2-7B、Llama3.1 等国际顶尖大模型，以小参数实现了与百亿、千亿级别模型相媲美的性能。

任度大模型在训练与推理过程中的算力成本显著降低，仅为同等大型模型的 1/5—1/10 以及 1/2—1/4。

“双脑”大模型一体机，一小时成为专属业务专家

目前，双网络架构的数推分离大模型已应用在任度“双脑”大模型一体机中，即将投放市场，解决大模型落地痛点。

何恩培表示，数推分离的双脑模式，解决了企业数据离场训练、向量效果有限以及人才投入高等难题，实现本地实时学习，一小时就能成为专属业务专家。企业数据在本地训练，无需上传至公有云，保障了数据隐私安全。根原创和高性参比，解决了企业在应用大模型中的高硬件投入、高能耗以及技术安全和软件漏洞等顾虑。

预训练之后的模型如何实现少量数据实时学习和训练模式，是全球大模型领域都在苦苦探索的课题。任度大模型独辟蹊径，何恩培坦言：“我们侥幸走通了这条路。我们没有从主流大模型发展遇到的问题中寻找突破机会，而是从公司诞生起就走在这条路上，走了 20 多年，也曾感到孤独和不自信，但看到大家都向这个方向走来，才确信自己走的没错，直到我们大模型评测进入第一梯队，才知道我们的技术路线也不差。”