大模型落地中的狂奔、踩坑和突围｜QCon 闭门会

“员工月均加班超 100 小时，部门负荷已达极限。”在业务竞争压力急剧增加的今天，大模型落地不再是“赶时髦”，而是企业亟需 AI 大模型在降本增效（如流程优化、决策加速）上突破现有困局。

企业希望凭借大模型的数据分析、逻辑推理与自动化处理能力，破解企业效率瓶颈，在诸如高效整合多维度数据资源将繁琐、重复性工作转化为智能化操作，通过精准捕捉市场动态与用户需求在业务各环节实现精细化运营等方面，释放人力价值、显著降低运营成本并提升服务质量。

当前，已经有大批企业进行了大模型落地，这个过程中取得了一些成就，也会遇到一些问题。在日前Qcon全球软件开发大会·北京站的“企业 AI 落地中的战略、组织、与人才”闭门会上，来自不同行业的负责人就大模型落地中的成熟场景、踩坑经验及组织人才等问题进行了深度探讨。

以下内容经 InfoQ 编辑、提炼和总结，希望为大家提供参考。

落地演变

总体看来，传统行业对 AI 应用呈现阶段性变化：早期更多是尝试性探索，近几年则转向务实路线，聚焦成熟度高的技术，例如图像识别、视觉算法、OCR 以及自然语言处理（NLP）等，在企业内已有广泛应用。

对于大模型应用，在去年和今年就呈现出了完全不一样的态势。去年，企业推进可能还会面临“有资源却求人用”的困境，大模型的成熟度未达企业落地门槛，因此多以探索和小规模 Agent 应用为主。而在今年，国产大模型（如 DeepSeek、通义千问）能力快速提升，普及了大家对 AI 的认知，已呈现“需求井喷”现场，有一定技术储备的企业已逐步具备快速切换技术方案的能力。

落地要“价值导向”

具体来说，在新兴技术的发展初期，企业可以容忍短期低回报率，鼓励内部试点与概念验证（POC）。

到了应用落地阶段，核心就是要围绕“价值导向”做判断。不同于追求技术前沿，企业更看重短期内能否产生实效，尤其对于成熟技术来说，要看在六个月到一年半内的时间里能否得到可量化的投资回报，尤其如果在前六个月产生效果会被特别重视，这类项目要占到 80%，超长周期项目则谨慎推进。

落地过程中，企业会明确用户体验红线：禁止将用户视为“小白鼠”。所有正式上线应用需严格满足以下指标：业务侧，提升效率或数据质量的可量化验证；技术侧，Token 响应速度、系统稳定性等硬性标准；体验底线：避免用户感知为“人工智障”。

成熟应用场景的三个特征

下面是当前大模型落地中，常见的相对成熟的应用场景。这些场景背后有三个共性：重复性强、具备一定创意需求和范式可沉淀，这决定了其最为适合用大模型或 Agent 切入，并尽早产出价值。

• 知识问答。很多企业以聊天机器人的形态引入大模型，有的直接接入大模型，有的则在此基础上融合内部知识库，构建更符合企业需求的问答系统，这类场景尤其在大型企业中率先落地。

• 智能客服。真正用大模型去完全替代传统基于规则的技术来做智能客服，效果比以前好很多，这个场景相对成熟。

• 物料生成。涉及多模态能力的应用，包括文生图、文生视频等。许多电商企业需要制作大量 SKU 图文内容，现在基本用 AI 完成，人力只负责流程管理和后期修正。这个场景已经相对成熟。

• 数据分析。企业对数据分析的需求越来越多样，小型公司可能用 chat-Excel 这类工具应对轻量级需求（比如 100 个表以内的数据），而企业级用户则更依赖 Data Agent 类产品。该场景的核心是数仓治理、指标治理和口径规范性，否则难以支持上层应用。

• 操作自动化。可以看作是传统 RPA 的升级版，可以在其中加入 planning 的能力，向行业 Agent 演进。这一类的 Agent 不是简单的流程自动化，而是具备一定决策能力的智能代理。

• 代码生成。代码补全是较为成为的应用。但在企业看来，20%~30%的 AI 代码贡献率并不是很理想，因为开发人员每天真正写代码的时间可能也只有 20%~30%，大部分时间用在沟通、需求理解等方面。另外，Cursor 等在跨职能协作场景中应用效果较好，但还难以用在核心业务领域中。

对于企业来说，AI 应用并不是要做“替代”，而是用来优化日常运营体系的方式，从流程自动化到交互智能化，都是企业效率升级的重要路径。

组织架构

没有 AI 基础的企业，通常需要进行架构调整来推动 AI 落地。而对于有一定 AI 技术积累的企业，则在架构上的调整较少。

架构调整模式选择

通常，企业有两种调整模式：成立大规模专职 AI 团队推动转型；要求现有业务团队自主拥抱 AI。但直接要求业务使用 AI 存在一定阻力，或者认知不够不响应，或者在兴趣丧失后放弃等，后者方式都比较难以推行。因此，经过摸索后，有的企业选择成立几人规模的 AI 小组，该小组专注赋能而非扩张，职责包括引入 AI 工具并培训业务团队、联动业务团队及业务种子用户共同探索。

另一种情况是，企业发现现在单兵作战模式、小规模研发难以适应疫情后的技术爆发节奏，因此将过去分散的 AI、大数据及企业架构等赋能型团队集中起来，攻克重点技术领域。企业在找到一些较成熟的落地场景后，再分散推进各个业务部门进行快速复制。

无论何种选择，大部分企业都开始组建专门的 AI 团队来推动企业内部的落地，最终可能形成“混合型”的架构模式：一方面，一个精干的小团队走在探索前沿；另一方面，推动产业团队去拥抱 AI。

在落地过程中，人才也是关键的一环。但要招到真正懂 AI、尤其是懂大模型的顶尖人才，难度是非常大的。

当前，企业 AI 人才包括外部引用和内部转型两种方式。外部顶尖人才的引入是常用的方式，企业希望顶尖 AI 人才可以带领团队系统性推进 AI 与大数据布局。随着业务的“跨界”属性越来越强，企业更倾向兼具 know-how 与技术实践能力的复合型人才。同时，企业也会让原来相关团队逐步向 AI 团队转型，比如一些自动化团队、语言团队等。

年轻化招聘导向

“招人难”是普遍现实，尤其是大模型和 AI Agent 等方向的人才，本身就极度稀缺。对于非互联网背景的企业来说，想招到这类顶尖人才难度更高。

很多真正懂技术的人是刚毕业几年、来自顶尖高校的年轻人，因此一些企业把招募重心放在这类年轻实习生身上，希望他们能通过参与前沿项目逐步成长，并最终留到公司。

实习生招聘难度虽然较小，但普遍缺乏业务理解，因此企业会采用“实习生 + 资深业务同学”搭配的模式，由后者帮助他们理解痛点、抽象问题，再由实习生进行技术实现。这个过程中也遇到一些问题，比如实习生常常对 AI 技术过于乐观，即使在已有局限性的问题上也坚持尝试，这时就需要技术负责人具备判断力，适时止损，确保资源聚焦在真正有价值的方向上。

专家表示，培养年轻人才的关键在于给予他们信任、成长空间以及挑战性课题。如果计算资源有限，但只要课题有吸引力，依然可以激发他们的热情与投入。

此外，为弥补内部人才不足的缺陷，企业也会引入乙方专家陪跑，通过筛选案例经验丰富的服务商，由其专家与企业项目组共同落地场景。

落地经验

不要盲目追求模型微调

一上来就要求“用自有数据微调开源大模型”是最典型的误区。表面看似乎一举三得：获得自主知识产权、向上汇报有成果、体现团队技术价值，实则从技术角度存在致命问题：微调需要高质量标注数据、算力资源及工程化能力，而企业往往会低估数据治理成本和模型维护难度，最终导致投入产出严重失衡。

专家给出的建议是分阶段构建能力。

第一阶段：搭建企业知识治理平台。这一阶段的核心目标是将分散的业务数据（文档、数据库、员工经验等）转化为结构化知识库。其中最大的挑战是清洗非结构化数据（如合同扫描件、会议纪要）、将隐性知识显性化（如老员工经验萃取）。这项工作必须由一把手推动，先选择垂直场景小步验证（例如客服知识库），同步建立数据标注、更新和权限管理机制。

第二阶段：构建企业智能体平台。这一阶段的重点是如何用大模型对企业内部大量的 SOP（标准操作流程）进行重构，以提升效率，如自动生成巡检报告、智能审批工单等效率提升场景。技术实现上，短期以 RAG（检索增强生成）为主流方案，解决知识实时性问题，而未来，多模态大模型将催生新型 Agent 范式（如结合图纸识别的工程质检 Agent）。今年，在多模态能力支持下，会不会出现适合企业内部的新型 Agent 范式 是非常值得关注的。

此外，底座模型更新迭代很快，企业几个月做的功能可能在一个新模型版本上线就被直接替代了。这时，AI 负责人很容易在内部“背锅”，被质疑是否在浪费资源。最好是让模型跑在自己的轨道上，企业在旁边做补充性的能力建设，实现“水涨船高”的效果。

绑定业务深度参与

站在岸上的人永远不会说“这个 AI 方案我满意了”。AI“最后一公里”一定是在业务中完成的，需要产品、业务和 IT 团队等的深度协作，一起推进试点、一起闭环场景。比如业务方需承担场景配置责任（如行业黑话翻译、分析范式定义）。否则，最后的反馈可能是：“有点用，但 20%的关键场景跑不通”，这种局面对于整个项目是非常危险的。

成功场景均依赖业务一把手的支持，但需避免过度干预，例如强求 100%准确率导致项目僵局。理想的模式是业务领导提供资源支持但不干涉技术决策。

具体落地过程中，专家建议双轨并行的策略推进 AI 落地。

第一条腿是“速赢模式”，即选一个关键场景做快速试点，让组织内部的关键人、决策者、业务方尽快尝到 AI 的甜头。这种试点要选切口小、闭环快的项目，一般建议控制在半年到一年内能看到效果。试点项目不用多，关键是请到业务中的 KOL 参与，让他们对 AI 形成预期。

第二条腿是“AI Ready”，即做好企业内部的准备工作。无论何种场景，最终都需要企业内部私域知识、私域数据的结构化支持。比如数据分析场景里，企业要先把数仓建设好，梳理清楚指标体系和数据模型，这样 data Agent 接入后才能真正跑通。

AI Agent 落地的核心

如今企业落地中，Agent 是一个绕不过的话题。

2024 年被视为 AI Agent 的爆发起点，硅谷超 80%的新创公司在布局 Agent 领域。但长期来看，“Agent”可能像“App”一样不再被刻意强调，而是成为技术应用的底层形态，其本质是大模型能力的延伸，最终融入具体业务中而非停留在概念层面。

Agent 的三大核心能力包括：

• 任务规划（Planning）：分解用户意图，分步骤执行复杂操作（如订外卖、访问网页）。

• 长距离推理（Long-Horizon Reasoning）：突破大模型“next token prediction”局限，在长对话中保持上下文一致性，实现持续需求追踪。

• 长链条工具调用（Long-Horizon Tool Using）：串联多系统工具/API，完成端到端任务闭环，标志从“生成式 AI”到“代理式 AI”的跨越。

当前，业内更为看好 Agent 在 B 端的应用，可以通过聚焦垂直场景（如客服、财务分析），替代传统 SaaS，通过深度集成实现长链条推理与工具调用。但在 C 端（如通用型 Agent Manus）的形态还未明确，可能向写 PPT、数据分析等场景扩展，需用“不设限”策略吸引专业消费者。

Agent 落地的核心是解决高价值问题（如周报自动化淘汰低效团队），而非技术本身。企业需算清“问题价值 vs 解决成本”的经济账，避免过度投入大模型，而应专注在场景问题上。

未来，Agent 可能成为类似微信的“超级 App”，集成多模态入口（如 AR 设备），构建 Multi-Agent 协同系统。在智能城市、车路协同等领域或诞生“市政超级 Agent”，实时联动基础设施与决策。

结语

总之，企业在走过了初期对大模型抱有过高期待的阶段后，现在已经逐步冷静探索大模型的能力边界。在落地过程中，首先合理评估模型的能力，同时结合自身业务需求接入应用。大模型应用整体上还不成熟，但可以从容应对个别“点状”场景，未来形成成熟的“网状”应用场景还需要全行业的持续探索。