硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

你给 AI 智能体的权限,正被黑客利用,OWASP 警告:真正的危机才刚刚开始

作者:Patrick Farry

  • 2025-10-04
    北京
  • 本文字数:1137 字

    阅读完需:约 4 分钟

大小:554.70K时长:03:09
你给AI智能体的权限,正被黑客利用,OWASP警告:真正的危机才刚刚开始

今年早些时候,OWASP(开放式 Web 应用程序安全项目)发布了一份针对自主智能体(Agentic AI)安全的指南,题为《Agentic AI - Threats and Mitigations》。这份指南不仅深度剖析了安全部署这项新兴技术所面临的独特难题,还针对性地提出了缓解策略和防御架构方案。


OWASP 指出,自主智能体有望通过其与计算工具和服务的交互能力,彻底改变系统的工作流程,不过,这种交互模式也暴露了一个前所未见的攻击面。


该文件提出了一个自主智能体系统的参考架构,其中包含四个核心组件:内存系统、智能体调用的工具、规划系统和编排层。尽管文件中识别了十五种威胁,但其中大部分威胁在其他基于大语言模型的系统中(如聊天机器人)也存在,并非自主智能体系统所特有。这些威胁已在 OWASP 的其他文档中有所记录,例如《OWASP Top 10 for Large Language Model Applications》。


报告指出,“工具滥用”是最主要的新型安全隐患。智能体的工具调用机制,形同双刃剑——攻击者一旦成功欺骗智能体发送恶意内容,工具底层的所有既有漏洞都将门户大开。OWASP 对此的定义如下:

工具滥用是指攻击者通过伪造输入或操作导向,诱使 AI 智能体滥用其已获授权的工具。尽管智能体行为并未超越其既定权限,但这种恶意操纵仍会导致数据被非法获取、系统被篡改或资源被恶意利用。


例如,攻击者可能诱骗智能体使用错误的用户凭证来调用工具,甚至让其以更高的权限发起操作。他们还可以利用提示注入(Prompt injection)技术来精心构造 API 调用,从而攻击底层 API 中的固有弱点,例如触发脚本注入或利用对象级授权缺失(Broken Object Level Authorization)等漏洞。


为了对抗工具滥用,该指南描述了两种主要的架构防御模式。第一种是在智能体和工具之间添加一个 AI 防火墙。这是一个专门的组件,用于检查智能体系统的输入和输出,并阻止被破坏的请求。其部署方式与 Web 应用防火墙(WAF)十分相似,都是用来实时审查网站和 API 的通信流量。第二种模式是监控来自智能体的遥测数据流,寻找异常的输入或输出,并实时响应,阻止工具的使用。


由此得出的核心结论是:智能体不可信赖。对于来自智能体的请求,都应当被视为与来自互联网的请求一样,进行同等级别的安全审查。


除了防御工具滥用,OWASP 文件还为所有自主智能体 AI 威胁的有效缓解措施定义了具体要求。这需要严格的访问验证、行为监控、清晰的操作边界和可靠的执行日志。访问验证要求对智能体尝试使用的每一个工具都进行即时验证;行为监控则负责分析工具的使用模式,及时发现并报告异常情况;操作边界负责明确划定并严格执行智能体被允许采取行动的清晰界限和限制;执行日志必须保存所有 AI 工具调用的不可篡改记录,以便发现异常行为,并为事后追踪和取证分析提供支持。


原文链接:

https://www.infoq.com/news/2025/09/owasp-agentic-ai-security/

2025-10-04 08:001

评论

发布
暂无评论
你给AI智能体的权限,正被黑客利用,OWASP警告:真正的危机才刚刚开始_生成式 AI_InfoQ精选文章