写点什么

模型刚接进业务,CEO 又要换新:红帽如何接住企业 AI 落地难题?

  • 2026-11-19
    北京
  • 本文字数:4008 字

    阅读完需:约 13 分钟

AI摘要

企业AI落地面临模型快速迭代与Agent权限失控的双重挑战,基础设施需从单纯算力供给转向推理效率、资源调度与运行治理。

红帽聚焦GPU调度、Token生产、Agent细粒度权限管控及AI原生漏洞修复,支撑AI平稳进入生产环境。

模型切换成本高;Agent需严格限定数据访问与操作边界;AI基础设施须兼顾灵活性与可控性。

适合AI平台工程师、SRE、企业架构师阅读

“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO 转头就问 CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地 AI 时经常遇到的一个困境。

 

对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着 GPU 适配、推理服务、数据接口和业务流程,前一套系统刚刚跑顺,新模型就来了,企业既不想错过技术进步,也不愿意为此重新搭建整套环境。

 

Agent 的出现又带来了另一层压力。当智能体开始接入企业内部系统,能够访问什么数据、执行哪些操作,就成了必须明确的问题。如果缺乏有效的权限约束,Agent 为了完成任务,甚至可能直接删除生产数据库。

 

模型迭代越来越快,企业需要保持技术选择的灵活性;Agent 能力越来越强,企业又必须确保其行为可控。这些变化正在推动企业 AI 基础设施从模型部署和算力供给,进一步走向推理效率、资源管理和运行治理。

 

红帽近几个月的产品布局也围绕这些问题展开:从 GPU 调度和 Token 生产,到 Agent 权限管理,再到软件漏洞发现与修复,试图解决 AI 从试点走向生产环境时遇到的实际困难。

底座不能频繁重建,总账单需要控制

 

模型厂商之间的竞争,正在让企业 IT 部门面临新的选择难题。

 

企业如果把业务流程深度绑定在某个模型和运行环境上,就很难及时享受到新技术带来的收益。模型换代还会牵动底层硬件、推理框架和应用接口,之前的投入也未必能够直接复用。

 

曹衡康认为,企业 CIO 真正关心的不只是哪个模型最好,而是当前选择的平台能否适应持续变化的技术环境。过去,红帽将这一思路概括为“四个 Any”:任意加速器、任意云、任意模型和任意智能体。

 

红帽希望延续 Linux 和 OpenShift 的路径,将开源技术转化为企业可以长期使用的商业化平台。底层硬件和模型可以变化,但企业不必每次都重新建设整个运行环境。据红帽介绍,目前其平台支持 20 多个开源模型、合计 700 多个版本。在加速器方面,除了 NVIDIA、Intel 和 AMD,也已经支持国产 GPU 厂商沐曦,并继续推进其他国产算力产品的适配。

 

随着企业对算力的管理需求增加,这种开放性也开始从硬件层向推理服务延伸。

 

红帽大中华区方案架构部总经理王慧慧(Aella Wang)提到,红帽早期将相关场景称为 GPU as a Service,即通过统一平台管理不同品牌的 GPU,让企业按需使用。随着推理需求增长,客户开始更多地谈 Token 工厂:将 GPU 资源集中起来,通过模型和推理引擎生产 Token,再将其作为服务提供给不同业务部门。再往上一层,则是 Model as a Service,由企业 IT 部门统一提供模型服务,业务部门根据自身需求选择模型,而不必分别搭建运行环境。

 

这背后是企业 AI 成本结构的一次变化。

 

曹衡康指出,过去一年,单位 Token 价格虽然持续下降,但企业的总账单不一定减少。随着思考模型和 Agent 普及,一项任务可能需要多轮推理、工具调用和结果验证,Token 消耗量也随之增加。单价下降,并不意味着总支出同步下降。

 

这也是红帽提出企业不能只做 Token 消费者,还应该考虑成为 Token 生产者的原因。对于已经投入大量 GPU 资源的企业,可以通过自建推理平台提高算力利用率,减少对外部 API 的长期依赖。

 

不过,自建 Token 工厂并非天然更便宜。它需要相对稳定的业务负载、合理的 GPU 利用率、专业的运维团队,以及持续的模型优化能力。如果算力长期闲置,折旧、电力和维护成本反而可能高于直接调用商业 API。企业真正需要比较的,不是单个 Token 的价格,而是完成一项有效任务的综合成本。

 

红帽在推理基础设施上的布局,正是围绕这一问题展开。其深度参与的 vLLM 已经成为开源模型推理领域的重要项目。与此同时,红帽还推动分布式推理项目 llm-d,希望进一步解决大规模 GPU 集群中的资源调度和推理效率问题。

 

10 月 20 日,llm-d 发布 1.0 版本。相比此前主要关注推理性能和集群调度,这次更新进一步补齐了生产环境所需要的多租户资源管理、请求优先级调度、高可用和滚动升级能力,并增加了面向 Agent 工作流的会话感知路由,让多轮请求尽可能复用已有上下文缓存,减少重复计算。

 

IBM Research 的一项基准测试展示了其规模化能力:通过 llm-d 部署约 7530 亿参数的模型,在并行 Agent 工作负载下,最多支持 3000 个并发编码 Agent,峰值输出吞吐超过每分钟 660 万 Token。按照测试采用的云资源租赁价格估算,单位 Token 成本比同等商业 API 低 5 至 10 倍。

 

这类优化的价值不仅在于提高吞吐量,也在于让 GPU 资源能够承载更多并发任务,降低高负载下的推理成本。

 

在中国市场,红帽还与趋境科技共建推理 AI 创新实验室 AI 推理技术联合创新实验室。双方的分工是,红帽提供 vLLM 推理框架和标准化平台,趋境科技负责不同模型、加速卡和平台环境下的具体优化,包括 KV Cache 处理等技术实现。双方希望将成熟成果进一步回馈开源社区。

Agent 真正难的不是开发,而是权限

 

推理效率解决的是 AI 能否以合理成本运行,Agent 进入企业工作流后,另一个问题随之出现:企业敢不敢让它真正执行操作?

 

王慧慧认为,当前智能体开发本身已经不是很高的门槛,开发人员经过几个小时培训,就可能搭建一个能够完成特定任务的 Agent。真正复杂的是权限管理和治理。

 

当 Agent 开始承担 IT 运维工作,它可能修改服务器配置、关闭机器、执行脚本,甚至删除数据库。一旦操作超出预期,影响的就不再是一段错误回答,而可能是企业真实运行的业务系统。红帽将这一方向称为 Agent AIOps,即通过智能体承担企业内部的 IT 运维工作。

 

类似的风险也出现在 AI 辅助软件开发中。AI 生成代码之后,可以进入自动化开发流程,但并不意味着可以跳过审核。无论代码由人还是 AI 生成,都需要经过相应检查,尤其是 AI 生成的代码,仍需要必要的审核环节,才能进入最终合并流程。

 

这意味着,企业需要管理的不只是模型本身,还包括 Agent 的实际执行行为:它能调用哪些工具、访问哪些数据,哪些操作可以自主完成,哪些必须经过人工确认。

 

Red Hat AI 3.5 进一步加入模型安全评估、Agent 开发模板、工具调用防护和可观测性能力。其中,EvalHub 可以帮助企业对模型和 Agent 开展安全评估,NeMo Guardrails 则用于约束模型和 Agent 的行为。平台还增加了按用户统计 Token 消耗的能力,帮助企业追踪不同团队的资源使用情况。

 

红帽与 CIO 时代联合发布的《2026 中国企业级 AI 实践调研分析年度报告》也反映了应用速度与治理能力之间的落差:接近 70%的受访企业正在推进 Agent 应用,但正式治理框架覆盖率还不到 15%。

 

对于企业来说,Agent 的权限不能只靠一条提示词约束,还需要身份认证、工具访问控制、操作审计和人工审批等机制共同发挥作用。尤其涉及生产数据库、核心业务系统等高风险资源时,企业必须明确自主执行的范围,并保留必要的人工控制。

AI 发现漏洞更快,企业修复跟得上吗?

 

Agent 治理之外,AI 还在改变软件安全的攻防节奏。AI 工具加快了漏洞发现,也可能帮助攻击者将多个看似无关的低危漏洞组合起来,形成更复杂的攻击路径。

 

对于企业而言,发现漏洞只是第一步,真正麻烦的是修复。很多生产系统依赖大量 Java、Python 开源组件,当漏洞出现时,上游社区维护人员通常只会在软件的最新版本中进行漏洞修复。对于拥有高度自定义、互连生产环境的企业来说,直接升级到新版本可能引发兼容性问题。企业往往需要在安全风险和系统稳定性之间作出取舍。

 

红帽与 IBM 联合推进的 Lightwell,试图解决的正是漏洞发现之后的修复问题。其方式是利用 AI 辅助漏洞识别,再由工程师参与验证和修复,将补丁回移到企业实际使用的软件版本中,尽量避免为了修复漏洞而整体升级。

 

10 月 6 日,IBM 与红帽披露,Lightwell 已经在广泛使用的 Java 库中发现并修复 400 多个此前未知的漏洞,Lightwell Clearinghouse 也正式进入全面可用阶段,企业可以提交具体的软件依赖,申请优先审查和修复。

 

企业还需要将补丁快速应用到生产环境中。王慧慧还给出了一组时间对比:传统情况下,企业完成相关补丁部署可能需要 40 多天,通过自动化流程可以缩短到 7 至 14 天。

 

从漏洞发现到补丁部署,Lightwell 希望缩短的是企业安全响应中间的这段时间。对于仍然运行大量旧系统的企业,这种方式也能减少因整体升级带来的业务中断和兼容性风险。

红帽的平台边界也在变化

 

红帽的基础设施能力还在从数据中心向工业现场延伸。

 

在具身智能领域,红帽联合 Intel、紫金星宇、西湖机器人和施耐德电气,推出面向工业自主运营的联合解决方案。这套方案中,西湖机器人提供机器人本体,Intel 提供计算平台,施耐德电气提供工业场景能力,紫金星宇提供通信技术,红帽则负责底层软件平台。

 

王慧慧将人形机器人比作一座移动的数据中心,。机器人端侧负责集成感知、计算、实时动作和肢体控制等多种能力,。随着应用场景要求的提高,更复杂的推理和决策则可以放在云端或数据中心。在红帽平台支持下,软件无需重新编译即可实现位置迁移。此外,通过红帽 OpenShift AI,企业可以统一管理多台机器人、模型和相关计算资源,集中下发算法更新和控制指令。

 

这实际上是红帽原有平台能力向边缘计算场景的延伸。过去管理的是数据中心里的服务器、虚拟机和容器,现在则可能增加工厂里的机器人。对于需要部署和管理大量设备的企业,统一的软件环境和远程运维能力也会变得重要。

 

回到企业 AI 落地本身,曹衡康坦言,国内外企业面临的问题大体相同:投入不小,但真正能够证明投资获得回报的案例还不多。中小企业目前仍主要集中在邮件处理、文档管理和客服等相对轻量的场景,更复杂的自主决策和自动化运维,即使在领先企业中,也受到安全、成本和可控性的限制。

 

从 GPU 调度、分布式推理,到 Agent 治理、漏洞修复,再到工业机器人,红帽近几个月的产品布局看似分散,实际都指向同一个问题:如何让不断变化的 AI 技术进入企业现有系统,并在生产环境中稳定运行。

 

模型和算力仍在快速迭代,企业却不能跟着每一次技术变化重建基础设施。对红帽而言,开放平台的价值正在从提供技术选择,进一步延伸到帮助企业管理 AI 运行的成本、权限和风险。至于这些能力能否转化为可量化的业务回报,还需要更多真实生产场景来验证。