WAIC 2026 的展馆里,最不缺的是关于未来的答案。
有人展示能够自主操作电脑的 Agent,有人讨论模型下一步的推理能力,也有人试图证明,AI 已经可以进入研发、办公和企业生产系统。
世博展览馆的会议室几乎场场爆满,热门展位前排起长队,社交平台上的大会话题持续升温。模型越来越强、Agent 越来越自主,构成了这届大会最直观的叙事。
但在 InfoQ 的第二直播间里,我们提出了一个不那么热闹、却越来越现实的问题:这些能力最终要花多少钱?
这不是一个简单的 Token 定价问题。
一次普通对话可能只调用一次模型,但一次 Agent 任务背后,往往包含目标理解、任务拆解、信息检索、工具调用、上下文读取、记忆存储和结果验证。任何一个环节出现偏差,Agent 都可能重新规划、重新调用,甚至从头执行。于是,模型单价虽然不断下降,企业的调用总量、基础设施压力和人工维护成本却可能持续上涨。
设定这个问题,也与 InfoQ 在 WAIC 2026 期间所做的整体尝试有关。围绕“请回答 WAIC 2026|AI 正在重写什么?”这一主题,我们在现场用三天时间进行了多场对话。
与追逐模型参数、产品发布和热门概念相比,我们更关心 AI 离开展台之后发生的事情:它如何进入企业,如何改变技术系统,又如何改变一家公司计算投入和产出的方式。
因此,在“为了钱包考虑,你必须关注的 AI 基础设施”这场对话中,我们邀请了优刻得 CTO 王凯和焱融科技 CTO 张文涛。王凯长期关注云计算、GPU 算力和模型推理服务,张文涛则从 AI 训练与推理存储的角度观察 Agent 基础设施的变化。
直播回放视频链接:https://www.infoq.cn/video/ZTqtrHdYa75f8FhvVOIR
讨论从一个看似简单的问题开始:为什么 Demo 阶段看起来成本不高的 Agent,一旦进入企业生产流程,账单就可能迅速失控?
但随着对话展开,两位嘉宾谈到的远不只是 Token。他们将这笔账逐渐拆解为任务成功率、上下文膨胀、人工审核、代码维护、多模型编排和企业内部治理。
到最后,问题也变得更加清晰:Agent 时代,企业真正需要控制的不是 Token 数量,而是一次有效任务所消耗的全部资源。
Agent 越来越聪明,企业账单为何反而失控?
在大模型调用价格持续下降的同时,企业的 AI 账单却未必同步下降。
原因并不难理解。普通聊天通常只需要一问一答,但 Agent 要完成的往往是一整条任务链:理解目标、拆解任务、调用工具、检索数据、生成内容、检查结果,失败后还要重新规划和再次尝试。随着上下文不断累积,任务链越来越长,计算、存储和人工干预成本也随之增长。
但一个越来越现实问题摆在行业面前:当模型单价不断下降,企业使用 Agent 的总成本为什么还在增加?企业真正应该优化的,究竟是每百万 Token 的价格,还是完成一次有效任务所付出的全部成本?
谈到 Agent 的成本,王凯首先提出,企业不应只问“Token 贵不贵”,而应该先问“这些 Token 花得值不值得”。
在他看来,随着 AI 应用快速增长,企业使用的 Token 数量出现大幅上升是正常现象。AI 正在尝试替代原有的软件流程和知识工作,一套生产流程在被重新设计的阶段,本身就需要大量实验和投入。
问题在于,许多企业尚未清晰定义自己希望 AI 完成什么任务、达到什么质量,以及愿意为这个结果付出多少成本。
“很多时候我们说 AI 贵,贵在我们为了一个自己没有定义清楚的问题,让 AI 不断地尝试,给出无数个答案。”王凯说。
例如,同样是让 AI 写文章,如果目标、受众、结构和评价标准足够明确,模型可能在少量尝试后完成任务;但如果企业只是要求模型先生成数百个版本,再从中挑选一个,同时又没有明确的筛选标准,成本自然会迅速上升。
因此,王凯认为,当前阶段企业最需要建立的并不是单纯的 Token 限额,而是一套可量化的任务评价机制:要解决什么问题,什么结果算成功,成功一次允许付出多少资源。只有先回答这些问题,企业才能判断 AI 到底是贵还是便宜。
张文涛也认同这一判断。他指出,Token 是模型厂商衡量资源消耗的一种方式,但从企业视角看,更重要的是 Token 最终转化成了多少业务产出。
以代码单元测试为例,企业不能只统计调用了多少 Token,而应该比较:过去一名工程师一天可以完成多少测试,引入 AI 后又能够完成多少;新增的产出是否足以覆盖模型费用和后续人工审核成本。
一旦工作流程明确并逐渐固化,Token 成本通常可以变得可预测。真正容易造成账单失控的,往往是目标尚未确定、流程尚未稳定时的重复试错。
企业最容易漏算的,是人、时间和维护成本
Token 账单至少是可见的。更难处理的是那些没有直接出现在云平台账单里的隐性成本。
张文涛认为,企业最容易忽略三部分成本:人的时间、结果质量和后续维护。
AI 生成代码后,企业通常不可能直接将其投入生产。工程师仍然需要进行代码审查、测试、安全检查和结果验收。即使代码最初能够运行,也不意味着它具备长期可维护性。
与此同时,Agent 的记忆和上下文还会持续增长。随着对话历史、任务状态和外部数据不断写入 Memory,每一次模型调用所携带的上下文可能越来越长。如果缺少记忆压缩、摘要提取和缓存机制,同一任务后期的调用成本可能远高于初期。
王凯进一步指出,Agent 在运行过程中需要反复重构上下文,而上下文叠加会推动计算资源快速增加。这也是 KV Cache、上下文压缩和信息提取逐渐成为推理基础设施关键环节的原因。
除了运行成本,企业还需要投入人员构建 Agent 工作流、评价体系和维护机制。AI 生成的代码如果只能继续由 AI 维护,企业还必须建立一套用于评价、更新和纠错的体系,而这些体系仍然离不开人。
“不能因为有了 AI,就认为所有事情都应该很快、很容易。”王凯表示。企业在没有明确边界的情况下将 AI 用到所有环节,最终可能不是减少成本,而是同时增加模型费用和组织管理成本。
AI Coding 不是生成代码,而是重构软件工程流程
AI Coding 被普遍认为是当前落地最快的 Agent 场景之一,但从生成代码到真正投入生产,中间仍然存在很长的距离。
张文涛提出,企业要构建 AI 原生的软件开发流程,需要的不只是一个代码模型,而是一整套完整体系:如何拆解需求、如何定义不同 Agent 的角色、如何设计测试、如何评价结果,以及新增功能后能否自动完成回归测试和验收。
只有需求、开发、测试和评价被完整串联起来,AI 生成的软件才有可能保持可控。
在此基础上,王凯总结出两条可能的 AI 软件工程路线。
第一条路线,是沿用传统软件工程的基本结构,使用 AI 分别改造需求分析、编码、测试、审查和运维等环节。人仍然负责流程设计,AI 逐步替代其中可以被明确评价的工作。
第二条路线则更加激进:企业只定义输入和最终输出,让 Agent 自主完成中间的规划、编码、测试和迭代,人主要负责评价最终结果。
对于真正从零开始的 AI Native 公司,第二种路径可能带来更高效率。一名工程师借助多个 Agent,理论上可以完成过去一个团队的工作。但对于大部分传统企业,王凯认为这种做法风险较高。
传统企业现有的生产流程,是长期经验、制度和组织协作形成的结果。如果突然将整个流程交给 Agent,相当于一次性击穿原有的信息化和管理体系。一旦效果不及预期,企业不仅无法获得效率提升,还可能额外承担系统失控、数据安全和流程中断风险。
因此,对大多数企业而言,更稳妥的办法仍然是逐环节拆解:先找到可以被清晰评价和稳定替代的任务,再逐步引入 AI,而不是一开始就将全部生产流程交给模型。
多模型不是目的,可替换才是能力
随着模型数量不断增加,企业往往希望同时接入多个模型、平台和 Agent 框架,以降低被单一供应商锁定的风险。
但多技术栈本身也会增加学习、适配和运维成本。
王凯认为,企业真正需要的不是为了“多模型”而多模型,而是一套清晰的编排架构。企业应明确不同基础设施层分别提供什么能力、上下层之间以什么接口连接,以及某项服务被替换后,其他环节是否仍能正常运行。
在这种架构下,模型、搜索、存储、网络、支付等能力都可以被服务化调用。企业选择多个供应商,不是为了形式上的分散,而是为了在价格、能力或供应发生变化时,能够以较低成本完成替换。
张文涛补充称,与传统云计算相比,公开模型 API 已经具备一定程度的标准化。企业通过 API 调用模型时,可以根据效果和价格在不同模型之间切换,锁定问题相对较弱。
真正容易产生绑定的是私有化部署。不同 GPU、推理框架、模型和存储系统之间仍然存在大量适配工作。一旦企业围绕特定供应商进行了深度开发,后续迁移可能涉及模型格式、硬件环境和工程工具链的整体调整。
此外,企业还需要考虑 Agent 工具和框架本身停止维护、版本更新或突然下架的风险。张文涛认为,企业应将自身积累的工作流程、提示词、规则和操作经验沉淀为可迁移的 Skill,而不是将核心能力完全绑定在某一款工具中。
王凯则从服务形态上进一步解释了 AI 为什么天然具备较强的可替换性。在他看来,大模型调用与传统信息化服务不同:它相对无状态,响应时间通常以秒计算,对延迟的容忍度更高,同时也允许一定程度的不确定性。
模型本身还在高速迭代。即使企业始终使用同一家供应商,新版本与旧版本的能力和行为也可能存在明显差异。对 AI Native 企业而言,模型切换可能不是一次性的迁移项目,而会成为一种常态化操作。
不要先比较 Token 单价,要先比较任务成功率
当企业面对多个模型时,一个常见问题是:应该选择单价更低但成功率一般的模型,还是选择价格更高但任务完成率更高的模型?
两位嘉宾的答案都很明确:先看成功率。
王凯认为,企业引入 AI 的第一阶段,核心问题是任务能否真正完成,而不是完成得是否足够便宜。失败的调用不仅意味着模型费用被浪费,还可能让人沿着错误方向继续重试,而错误判断和反复试错往往是最高的成本。
更合理的路径是,先使用能力较强的模型跑通工作流,证明 AI 确实能够解决问题;随后再拆解流程,判断哪些环节存在“智力过剩”,可以替换成更便宜的小模型、传统程序或固定规则。
张文涛以信用审核为例说明,一套完整流程可能同时包含图片转文字、关键词提取和风险判断。其中,图片识别和信息提取已经是相对成熟、固定的任务,没有必要每次都调用最强的大模型;只有最终的综合分析和结论生成,才需要能力更强的模型。
因此,企业的成本优化并不是简单地将所有模型替换为低价模型,而是在任务成功的前提下,将工作流拆解成不同复杂度的环节,为每个环节配置合适的工具。
企业不能只发一个 Key,然后对使用情况一无所知
当 AI 从个别员工的实验变成企业级工具,成本问题也会逐渐转化为治理问题:谁来承担费用,如何分配预算,是否限制 Token,以及怎样判断一个团队用得过多还是过少。
张文涛表示,目前很多企业还处于边使用、边建立规则的阶段。不同团队对 AI 的使用方式差异很大,很难简单按照部门人数或者统一 Token 配额分配预算。
焱融科技目前的做法是先将具体任务固化。例如代码审查、补丁生成和模块开发分别使用什么模型,大致需要多少 Token,再根据任务类型观察团队和个人的消耗。
但 Token 使用量本身并不能说明效率。一个人使用量增加,可能意味着工作方式低效,也可能意味着产出明显提升。因此,企业仍然需要回到 ROI,判断新增消耗是否带来了更多有效产出。
王凯认为,企业至少需要具备用量可见、日志审计、多 Key 管理、限速和限流等基础能力。企业不能只向所有员工发放同一个 Key,之后既不知道谁在使用,也无法在成本异常时关闭“水龙头”。
在此基础上,不同类型的团队应采取不同的管理方式。
对于刚开始进行 AI 转型的传统企业,可以适度鼓励员工多使用,以降低学习门槛;对于 AI 制药、AI for Science 等不确定性较强的创新研发,应采用项目预算管理,允许试错,但设置投入上限;对于已经进入稳定生产的流程,则需要持续计算单位产出和单位成本。
王凯用无人驾驶汽车做了一个类比。如果一辆无人车价格为 50 万元,但仍然需要一名司机全程坐在车内,那么企业同时承担了车辆和人员两份成本,自然显得昂贵。但如果车辆能够真正替代司机,按照五年折旧计算,它可能反而比长期雇佣司机便宜。
当前许多企业使用 AI 的状态,正类似于“车里的人还没有离开”:AI 已经产生了成本,但原有人员和流程并未减少。要判断 AI 是否真正降本,企业必须明确它替代了哪部分工作,以及单位产出是否因此增加。
下一阶段的 AI Infra,不只是 GPU 和存储
企业之外,个人用户也开始面对 AI 订阅叠加的问题。单个平台的月费看起来并不高,但同时订阅多个聊天、编程、图片和视频工具后,长期成本同样不可忽视。
王凯认为,对于大多数个人用户,包月套餐通常比直接调用 API 更合适。模型厂商希望通过套餐降低普通用户使用 AI 的门槛,同时大量用户并不会完全用满额度,因此包月产品往往具有较高的综合性价比。
API 更适合需要自动化调用、批量处理或者构建产品的开发者和“超级个体”。普通用户很少需要直接管理多个模型的 API Key、计费和调用逻辑。
一种更现实的组合是:选择一款最常使用的包月产品,同时保留一个支持多模型、按量付费的平台,用于偶尔调用其他模型。
张文涛也认为,对于生成 PPT、整理会议纪要等低频任务,包月还是按量使用差别并不明显;但如果个人将 AI 深度用于编程、内容生产和日常工作,Token 消耗较大,包月模式通常更具性价比。
在对话的最后,问题回到了 AI 基础设施未来会演变成什么形态。
张文涛坦言,当前行业变化速度很快,很难准确预测一年后的具体格局。但一个比较确定的方向是,GPU、推理框架、模型和存储之间的兼容性需要进一步提升。
目前,不同国产 GPU、推理引擎、模型格式和存储产品仍处于分别发展的阶段,厂商之间的适配成本较高。随着推理需求增长,行业需要更标准的接口,让不同硬件和软件组件可以更容易接入和替换。
王凯则判断,未来一年,新一代 AI Infra 的产品形态会逐渐变得清晰。云计算时代形成了计算实例、数据库、对象存储等标准产品,而 Agent 时代也会出现属于自己的基础设施组件。
这些组件可能包括 Agent 身份认证、AI 邮箱、支付账户、Key 管理、计量计费、日志审计,以及用于限制 Agent 权限的运行沙箱。
尤其是沙箱。Agent 既需要获得文件、代码、浏览器和企业系统权限,企业又不希望它在缺乏约束的环境中直接运行。如何在赋予能力的同时隔离风险,将成为 Agent 基础设施必须解决的问题。
从这个角度看,AI Infra 的下一阶段并不只是寻找更多 GPU,也不仅仅是降低每个 Token 的推理价格。它需要回答的是:如何让模型、数据、工具和组织流程组合成一个稳定、可替换、可治理,同时能够持续计算投入产出比的生产系统。
Agent 越来越聪明并不必然意味着企业成本越来越低。只有当任务目标被定义清楚、工作流程可以被评价、模型能够被替换、使用成本可以被看见,并且 AI 真正替代了原有环节,Token 单价的下降才可能转化为企业实际成本的下降。
否则,企业购买的可能不是生产力,而是一场不断追加预算的试验。





