“千模大战”打响，大模型应用落地如何跑通最后一公里？

6 月 6 日，在成都举行的百度文心大模型技术交流会上，百度智能云公布文心千帆最新升级点，推出文心一言高性能模式“文心一言-Turbo”，以及 Comate 代码助手，并正式开放邀测。在接受 InfoQ 在内的媒体采访时，百度智能云 AI 平台副总经理施恩针对 Comate、文心一言以及文心千帆大模型平台做了进一步解读。

今年以来，各类 AI 大模型产品层出不穷，“千模大战”已经打响。施恩在接受采访时表示，百度的核心优势在于模型本身的能力以及中文语义理解。“我们希望大模型技术能够推进各行各业的智能化升级，我们也支持其他模型在文心千帆大模型平台上去跑，进一步推广大模型的应用。”

代码助手 Comate：基于大模型打造的新一代编码辅助工具

Comate 是利用大模型实现的编码辅助工具，借助文心大模型的理解、推理能力，Comate 可实现代码的快速补齐、自然语言推荐代码、自动查找代码错误，全面提升开发者研发效率。

目前，Comate 目前已经覆盖了 30 余种编程语言，尤其在 C/C++、Python、Java、Go、PHP、JavaScript 等多个主流语言表现出色。同时，结合飞桨深度学习框架与文心大模型，Comate 可确保推理单次请求 300ms 左右，以极快的响应速度保障用户使用体验。

施恩在接受时表示，百度早在 2021 年就已经启动基于大模型做代码辅助工具的研究，去年 4 月完成测试，并在去年 9 月实现内部业务线应用。Comate 与 Copilot 定位相似，都是辅助代码编写，从而提升编程效率。但区别之处在于，Comate 的中文理解能力更强。

“我们国内的开发者喜欢写一些中文的注释，Comate 可以通过中文注释语义触发的方式向开发者推荐代码。文心大模型本身的中文理解能力很强，通过中文注释来推荐代码，我们会有更强的能力补足，这也更符合我们国内的开发者的编码习惯。”施恩表示，除此之外，Comate 还支持程序员最常使用的主流 IDE，开发者可以通过插件等形式，在不同软件中使用 Comate。

在提高编程准确性方面，施恩表示具体有两种方式：

• 第一，训练数据足够丰富。有足够多的代码块，以及上下文关系输入。

• 第二，持续的快速迭代。代码助手会推荐多条内容，根据开发者采纳情况以及实际使用反馈，进一步回馈给大模型，做持续的迭代升级，从而让代码助手推荐出更符合开发者编码要求的内容。

施恩认为，当前的 AI 技术还不能 100%自动化生成代码，Comate 的出现不是取代开发者，而是帮助开发者完成重复性的工作，使其将更多精力聚焦在核心业务逻辑的梳理、编码设计上面。“现在 AI 编程还处于辅助阶段，未来也是以辅助为主，可能它的辅助效果会更好，开发者写的代码比例会越来越低，重复性的工作会进一步得到简化。”

文心一言高性能模式提升 50 倍的背后，大模型平台如何进行迭代？

自 3 月 16 日文心一言内测以来，文心一言已经迭代了 4 个版本。通过算法和模型的持续优化，在企业应用的高频、核心场景中，文心一言的高性能模式“文心一言-Turbo”推理服务性能已经提升了 50 倍。目前，企业可以在文心千帆大模型平台上申请测试“文心一言-Turbo”高性能模式。

作为全球首个一站式的企业级大模型生产平台，文心千帆大模型平台不但提供包括文心一言在内的大模型服务及第三方大模型服务，还提供大模型开发和应用的整套工具链。未来，文心千帆将提供两种服务：第一，未来，文心千帆将以文心一言为核心，提供大模型服务，帮助客户改造产品和生产流程；第二，作为一个大模型生产平台，企业可以在文心千帆上基于任何开源或闭源的大模型，开发自己的专属大模型。

据施恩介绍，目前大模型平台正处于高速发展期，整体的迭代节奏非常快。到一定阶段之后，大模型平台会进入持续发展阶段，逐步趋于平稳。

“大模型平台的迭代分为两方面，一是效果的提升，二是性能的提升。效果的提升是一个黑盒，但大概的原理性内容是比较通用的。一方面是本身数据的驱动，通过更多的数据来去驱动它效果的提升，比如 GPT-4 基本上涵盖了我们能够搜罗到的所有的通用数据；另一方面是关于大模型效果的训练迭代机制以及数据闭环的反馈机制。性能的提升更多则依托于我们平台层或底层的基础架构层，比如千帆平台、百舸平台可以实现算力的提升，与昆仑芯更好地做适配，提升整个效率，以及有更强的分布式性能来提升整个大模型平台的性能。”施恩说道。

从底层技术来看，大模型给人工智能背后的技术栈带来了根本性的变化。如今的 IT 技术栈已由过去的三层（芯片层、操作系统层、应用层）演化为四层架构（芯片层、操作系统层、框架层、应用层）。

“大模型的应用涉及到四层端到端的配合，百度在这四层非常有优势。不管是模型的训练还是推理，都离不开底层算力、框架的支持，像昆仑芯、飞桨框架都非常有优势。再往上，有了模型之后，需要与应用进行结合。其实在没有 AI 大模型之前，百度智能云已经在金融、能源等领域做了非常多的深耕，所以现在把模型跟应用的结合也会变得非常高效。”

施恩表示，从组织架构来讲，这四层端到端更加紧密结合在一起，芯片、飞桨、大模型、应用每一层的团队会充分配合，围绕同一个目标共同推进 AI 大模型在产业的应用落地，只有这四层搭配起来才能够更好地解决实际的问题。

完成大模型应用落地最后一公里

从 3 月文心一言启动内测到现在，已有超 15 万客户申请接入文心一言，超 300 家企业成为文心一言生态伙伴，实现超 400 个具体场景落地。

施恩表示，目前基于大模型的 AI 应用广泛集中在对话、创作、搜索三大方向。在对话式、问答式场景中，当前的大模型能力相比过去的智能客服系统、对话系统实现了大幅提升；在创作类、生成类场景中，大模型已经在文案创作、材料撰写等方面实现了应用落地；在搜索类场景中，基于大模型能力，搜索性能和效果也会更强。

“目前来讲，这三大方向也是大模型应用落地的主要方向。除此之外，大模型还有很多各种各样的应用场景，这也需要大家发挥想象，并且进一步尝试。有些应用场景可能会遇到效果问题，我们会提供非常多样的 Prompt 优化，以及一些精标的 SFT 或者做一些微量参数的调整，通过这样的方式更好的去契合我们的场景。”

在企业应用场景中，施恩观察到，一些大模型评测中关注的通用能力，在企业中并不实用，比如大模型做逻辑推理的能力，大部分企业是用不到的。因此，完成大模型应用落地最关键的是，怎么样能够跟企业的场景更好地结合，帮助企业去实现业务价值。

“通用模型的能力是一方面，怎么样去更好跟行业的数据、知识结合，去解决问题才是更重要、更实用的。我们这两个方面都会关注，通用模型能力的提升也有助于我们更好训练这个行业应用的专业模型，不完全依赖于通用模型的全面性，也并不影响我们在一些特定的行业去应用落地。”施恩提到。

在施恩看来，真正的完成大模型应用落地的最后一公里，需要依赖整个生态的力量。“我们需要做好生态伙伴的发展、建设、培训、赋能。如果仅依靠百度自己的力量，我们可能更多还是聚焦在一些核心能力、核心平台、产品功能的打磨上面，只有得到不同行业生态伙伴的支持，才能够真正的完成大模型应用落地的最后一公里。”

在实际的行业落地场景中，企业如何更好地结合场景编写 Prompt 也是一个难题。施恩在接受采访时表示，“大模型的能力可能要通过一些比较好的 Prompt 去做触发，一些企业对于业知识库的理解有限，对此我们也有对应的机制。我们有很多的生态伙伴，这些生态伙伴经过我们的培训非常专业，并且也具有行业属性，更了解行业客户。通过生态伙伴去更好帮助企业基于文心千帆大模型去落地，帮助企业更好做 Prompt 的优化，做大模型的精调，以及在未来更好跟企业去共建行业的大模型。这些都能够使得大模型落地更进一步。”