引言
威胁行为者正在利用人工智能（AI）发起新一代的复杂攻击。我们观察到，某些对抗性机器学习技术正在改变模型的行为方式。此外，还有由生成式 AI 驱动的高度个性化的社会工程学攻击活动。最后，还存在能够实时演变的自适应威胁。与传统防御系统相比，AI 驱动的攻击方法速度更快、规模更大。这种日益加剧的威胁，正对我们关于如何检测和防范威胁的基本理念构成挑战。
这些发展迫使我们从根本性上重新思考网络安全战略。传统的事件响应手册在应对 AI 系统时往往力不从心。这些系统可能表现得难以预测，并展现出新的、意想不到的行为。如今，各组织必须制定新的取证方法、专门的监控工具和灵活的响应策略。这些方法对于应对 AI 驱动的不断变化的安全事件至关重要。
随着组织迅速采用 AI 系统，安全工程师必须转变角色。这种转变需要新的技能、方法和战略思维。本次虚拟座谈会汇聚了业界顶尖的实践者，共同探讨了 AI 威胁的演变趋势。他们还审视了传统安全方法的局限性，以及抵御未来攻击所需的关键技能。
虚拟座谈会成员：
Elham Arshad：网络安全专家 | Trentino Digitale 公司 AI 驱动安全解决方案专家
Sabri Allani：博士 | Expleo 集团 AI 与网络安全顾问
Vijay Dilwale：UltraViolet Cyber 公司首席安全顾问
Igor Maljkovic：意大利热那亚大学 AI 安全博士后研究员
InfoQ：在 AI 时代，要成为一名安全工程师需要掌握哪些技能？
Elham Arshad：安全说到底就是保护我们的数据和系统免受攻击者的侵害，这始终是一场试图入侵者与试图阻止入侵者之间的拉锯战。有句谚语说：“要战胜狮子，你必须成为狮子。”同样的道理也适用于这里：保护现代系统需要具备与针对它们的威胁同样先进的工具和专业知识。
在 AI 领域，这种日益增长的防御需求表现得尤为明显。AI 系统建立在数据的基础上，而传统的安全则围绕 CIA 三要素（保密性、完整性和可用性）来保护数据。但一旦 AI 介入，安全格局便变得更加复杂。模型可能会受到影响、被欺骗或被滥用，其影响范围远远超出传统软件漏洞的范畴。
正因如此，在 AI 时代，要成为一名安全工程师，仅具备网络安全的基础知识已经远远不够。你还需要切实了解机器学习的运作原理、模型的训练方式、大型语言模型（LLM）的行为模式、提示词调优或微调如何影响输出结果，以及数据管道如何影响模型性能。编程技能、机器学习算法以及数据科学的概念正在变得至关重要。
除此之外，现代 AI 安全专家还需要了解以下内容：
- 模型行为和故障模式，例如 AI 系统如何发生漂移、产生幻觉或被误导。
- 数据治理，确保训练数据安全、干净且未受恶意篡改。
- 针对 AI 的特定威胁，例如模型提取、数据中毒和提示词操纵。
Sabri Allani：安全工程师需要将工作范围从“代码和基础设施安全”扩展到“数据、模型和代理安全”。最重要的技能包括：
- AI 威胁建模（模型、数据、提示词/代理攻击面、供应链及运行时行为）。
- 数据安全与完整性（数据溯源、抗毒能力、安全标注管道、访问控制、可审计性）。
- 大型语言模型（LLM）/智能体攻击素养（提示词注入、工具滥用、通过文档进行的间接注入、模型提取风险、越狱模式）。
- 针对 RAG/代理的“安全设计”（工具的最小权限原则、检索范围控制、策略执行、安全的工具执行模式）。
- 针对 AI 系统量身定制的评估与红队测试（安全/保障测试套件、对抗性测试、行为回归测试）。
- AI 服务的可观测性与取证分析（提示词/响应的遥测数据、工具调用日志、检索轨迹、漂移检测）。
- 治理与风险管理（基于 NIST AI RMF / ISO/IEC 42001 的理念、可量化的控制措施、问责机制）。
Vijay Dilwale：最大的转变在于，从保障确定性软件的安全转向保障概率性系统的安全。你不必是机器学习（ML）专家，但你确实需要了解 AI 系统在实际应用中会因提示注入、间接提示注入、数据中毒、模型漂移、检索增强生成（RAG）滥用以及不安全的工具或代理访问等问题而发生故障。
这种理解并非停留在理论层面。这需要有意识地破坏系统，尝试不同的提示词，向检索源中植入恶意内容，并观察当上下文或权限发生变化时，系统行为会如何改变。例如，对于基于 RAG 的系统，仅仅询问“模型是否安全？”是不够的，还必须探究当攻击者控制或影响被检索的文档时会发生什么，以及模型是否会将该内容视为指令或事实。
在大多数实际部署中，模型本身并不是问题。真正的风险在于模型如何与数据、身份识别和自动化系统相连接，以及这些连接随着时间的推移有多容易被滥用。最重要的技能并非掌握某个新框架，而是学会以对抗性思维来审视那些会随着时间推移而学习和变化的系统，而不仅仅是执行固定逻辑的应用程序。这种思维方式的转变正是 AI 安全的基础。
Igor Maljkovic：首先，基本原则依然至关重要。AI 安全工程师必须培养扎实的网络安全思维。其核心逻辑始终如一：攻击者会寻找系统中的漏洞以绕过防护措施并达成目的，而防御者则必须采取主动且以攻击者的视角来思考，预判滥用行为，并随着技术的发展不断调整策略。从这个意义上说， AI 安全在很大程度上继承了传统安全领域中的“蓝队”与“红队”思维。
与此同时，AI 系统也带来了新的故障模式。故障模式的增加使得对系统的端到端理解变得至关重要。不仅要理解模型本身，还要了解数据的采集方式、模型的训练方式、部署方式、系统的监控方式，以及人类随着时间的推移如何与系统交互。AI 安全问题往往源于这些环节之间的连接方式，而非孤立的单一组件。因此，大多数 AI 安全故障都发生在组件之间的边界上，而这些边界往往是信任与责任假设最容易崩溃的地方。例如，提示注入并非模型本身的缺陷，而是发生在不可信用户输入与系统级指令边界上的故障。当用户的自然语言输入被视为可信上下文时，攻击者便能构造输入来覆盖预期行为、操纵推理过程，或将模型引导至非预期的行动。同样，数据中毒通常发生在模型之外，即外部数据源与训练管道的接口处。在那里，经过篡改的数据在未经充分验证的情况下就被纳入了系统。
工程技能同样至关重要。一名 AI 安全工程师必须能够将抽象的风险转化为具体的解决方案，从问题定义到实施落地。这种对多重技能的需求包括扎实的编码能力、熟悉生产环境，以及在现实约束条件下设计、构建、部署和维护安全机制的能力。
另一项关键技能是阅读、解读并分析前沿科学文献的能力。AI 安全领域发展迅速，工程师必须能够从关于新型攻击、防御和评估方法的研究中提炼出实用的见解，并评估哪些技术已经足够成熟，可以在实际场景中使用。
软技能至关重要。对于阐释复杂风险、理解系统和业务需求、与机器学习工程师及产品团队协作，以及向决策者明确说明安全方面的权衡取舍而言，清晰的沟通和积极倾听至关重要。
最后，对 AI 及其底层数学基础的深刻理解必不可少。安全工程师若不理解 AI 系统，就无法有效地保障其安全。例如，如果不了解 Transformer 架构、注意力机制或训练动态，就很难对大型语言模型进行防护，也难以分析诸如“幻觉”、提示词敏感性或信息泄露等故障模式。虽然通常来说，这些知识被归类为“理论”，但在实践中却是一项关键技能，因为它能让工程师预判风险、解读模型行为、评估防护措施，并区分架构限制与实现缺陷。
InfoQ：目前最具破坏性的 AI 攻击是什么？
Elham Arshad：我们可以从两个简单的角度来思考与 AI 相关的攻击。
首先，从 AI 的安全性角度来看，随着许多组织采用 AI 实现自动化和决策，AI 带来了新的攻击面，并成为比较简单的攻击目标，因为目前尚无具体的策略或指南来增强 AI 系统的安全性。
其次，在 AI 驱动的攻击中，攻击者如今利用 AI 使攻击更智能、更快，且更难被发现。AI 能能够自动实施网络钓鱼攻击，制造现代网络威胁，并发现零日漏洞。
如果将这两类攻击进行比较，目前，第一类在现实环境中更为普遍，相关记录也更为详尽。越来越多的研究、案例和安全报告表明，当 AI 模型的输入、训练数据或周围环境遭到篡改时，这些模型会变得非常脆弱。这类攻击直接威胁到 AI 系统所依赖的数据机密性和完整性，对于将 AI 集成到工作流程中的任何组织而言，都可能造成严重的后果。
如果我们看具体案例，提示词操纵、提示词注入和越狱是其中最常见且最令人担忧的攻击方式。它们都是同时针对机密性和完整性。攻击者实施这些攻击相对比较容易，通常只需要精心构造的文本或内容即可。与利用软件漏洞的传统网络攻击不同，这些聚焦 AI 的攻击利用了模型的行为、推理模式以及对输入数据的信任。由于 AI 工具经常与网页、文档和用户消息等外部内容进行交互，它们可能会在无人察觉的情况下受到恶意指令的侵害。
这些攻击发生的概率高于许多其他与 AI 相关的威胁，原因很简单：其门槛比较低，而且攻击面广泛。其潜在影响可能更为严重。一旦攻击者影响了模型的响应或决策，这种影响就会像多米诺骨牌一样波及下游系统、自动化流程或人类决策过程。
Sabri Allani：如今，当我们谈论“最具破坏性的 AI 攻击”时，我认为危害最大的类别是由 AI 增强的大规模社会工程学攻击。原因很简单：由 AI 增强的社会工程学攻击总能突破“人类防线”，而 AI 使其既高度个性化，又具备大规模可扩展性。攻击者可以结合开源情报（OSINT）和泄露的数据（例如组织结构图、供应商关系、职位变动、内部术语、过往邮件风格以及公开文件），制作出在技术受众看来具有真实性的信息，因为其中包含了恰当的背景信息。这种新型攻击不仅仅是“更高级的钓鱼攻击”，而是“工业化”量产的精准说服攻击手段。借助生成式 AI ，攻击者可以发起数千次量身定制的接触尝试，并维持逼真的后续对话，对异议、紧迫性及核实问题作出令人信服的回应。其影响往往是直接的：凭证盗窃、欺诈性支付以及工作流操纵（例如更改供应商银行信息并推动紧急审批）。即使组织实施了多因素身份验证（MFA），这些攻击活动也会越来越多地将目标转向周边流程：会话/令牌劫持、服务台和身份恢复工作流，或是那些“合法”但可以通过社交胁迫触发的业务流程。简而言之，AI 使社会工程学攻击更具可信度、速度更快，而且更难与正常的业务沟通区分开来，这正是其破坏力如此之大的原因。
从更技术性的角度来看，我最关注的新兴威胁类型是间接提示注入，并结合在代理系统中滥用工具或连接器。一旦 AI 助手连接到企业工具（例如电子邮件、工单、文件共享、客户关系管理（CRM）、持续集成与持续交付（CI/CD）、云 API 以及内部知识库），主要风险就会从“模型说了什么”转向“模型在合法权限下能做什么”。间接提示注入之所以威力巨大，是因为攻击者无需攻破模型本身。他们只需要将恶意指令植入模型在正常工作流中会摄入的不可信内容中，例如网页、PDF、电子邮件线程、工单描述或共享文档。如果用户要求助手针对该内容进行总结、草拟或采取行动，那么这些嵌入的指令便可能劫持代理的行为：通过已获批准的连接器窃取数据、向外部地址发送电子邮件、创建会触发重置或访问权限变更的工单，或者检索并转发敏感文档。此处的破坏性源于看似合法的行为：攻击者利用经过批准的身份访问授权使用的工具，并执行与正常自动化操作相似的操作。正是这种表面上的合法性，使得传统控制措施难以应对：这种“攻击”并非可疑的漏洞利用，而是可信系统被操纵，导致其滥用自身的访问权限。
如今，这两类攻击的危害性尤为严重，因为它们针对的是最难加以防护的两个方面：人类以及在有效权限下运行的自动化系统。AI 既扩大了攻击的规模，又提高了攻击的可信度，同时还缩短了从首次接触到产生实际运营影响所需的时间。
Vijay Dilwale：这并非某种巧妙的模型利用手段，而是 AI 让社会工程学手段比以往任何时候都更有效了。我们看到了一些钓鱼邮件，其中提到了真实的项目、真实的同事以及公司当前正在发生的事件。我们还看到了一些内容深度伪造的语音，其中的声音与高管极为相似，足以促使对方批准付款或重置账户，尤其是在利用紧迫感或施加压力的情况下。
发生变化的并非这类攻击的思路，而是其经济模式。攻击者能够生成数千条令人信服的个性化信息，测试哪些方法有效，并且几乎能即时调整策略。其危害源于攻击的速度和逼真程度，而非 AI 本身取得了任何突破。AI 并未发明新的欺骗手段，它只是消除了曾经限制此类攻击实施频率和效果的障碍。
Igor Maljkovic：并不存在一种适用于所有 AI 系统的、“最具破坏性”的单一 AI 攻击。攻击的影响与模型架构、在系统中的作用，以及所获得的信任程度和自主权密切相关。
例如，提示注入攻击可能对大型语言模型（LLM）造成极大的破坏，尤其是在 LLM 被嵌入到代理系统中，或与工具、数据存储库或决策工作流相连时。在这种情况下，攻击者可以操纵模型行为、覆盖系统指令，或触发非预期的操作。然而，对于计算机视觉中使用的卷积神经网络等不处理自然语言的架构而言，同样的攻击则毫无意义。
公众往往将深度伪造和选举干预视为最具破坏性的 AI 威胁。相比之下，AI 安全负责人可能会指出“零点击自主远程代码执行”这一威胁，即当 AI 代理被赋予过多自主权且缺乏足够的安全防护措施时，它会在无需用户直接交互的情况下执行远程操作。这类攻击利用了高权限自动化与薄弱控制边界的漏洞组合。
AI 攻击的真正破坏性取决于具体情境。最具破坏性的 AI 攻击并非由单一技术所决定，而是由 AI 系统的行为方式与其所获得的信任程度之间的不匹配所决定。不同的攻击会利用不同的特性（例如从数据中学习、遵循指令、泛化或自动化），但当系统在部署时基于某些可靠性或控制方面的假设，而这些假设在实践中并不成立时，损害就会加剧。当 AI 系统被集成到安全关键的工作流程中，却缺乏基于架构的威胁建模、充分的保障措施、验证以及持续监督时，攻击就会造成真正的破坏。
就拿当前正在发生的一个具体案例来说：攻击者可能会将漏洞植入开源代码库。随后，基于这些被篡改的数据进行训练的 AI 编码助手，会向开发人员推荐这些漏洞，而开发人员往往会信任并采用 AI 生成的代码。一个恶意的训练样本就可能这样在数千个生产系统中传播开来。其破坏性并不源于攻击本身的复杂性，而是源于 AI 工具如今在开发工作流中扮演的受信任角色。
Info：你们认为基于 AI 的攻击将如何演变？下一次最具破坏性的攻击会是什么？
Elham Arshad：如今，越来越多的组织正在采用 AI 并围绕其构建新的 API，就连搜索引擎现在也依赖 AI 来提供更智能、更有用的搜索结果。随着这一趋势的加速发展，大多数数字工作流，乃至最终大多数 API，都将高度依赖幕后协同运作的 AI 系统。但这也意味着，任何单一故障都可能引发所有相关环节产生连锁反应。如果某个模型离线或开始生成恶意输出，所有基于该模型构建的工具或服务都可能受到影响，从而导致整个工作流速度变慢，甚至引发系统的彻底崩溃。
在 AI 系统相互依赖的环境中，这类故障可能迅速蔓延，难以追踪，并同时波及众多组织。一种以 AI 系统本身为目标、通过供应链传播、并利用社会工程学手段躲避检测的自主式 AI 驱动攻击，可能会进一步放大这一风险。由于这些系统对现实世界的控制力日益增强，其影响绝不会仅止于数字领域的颠覆。试想一下，如果这种恶意行为发生在能源等关键领域会怎样。如果一家公用事业公司所依赖的基于 AI 的系统突然变得不可靠，那可能会引发运营中断，甚至导致大规模停电。正是由于存在这种风险，设计出具有弹性、安全且能够安全容错的 AI 系统才至关重要，因为随着 AI 成为现代基础设施的支柱，其风险也随之不断加剧。
Sabri Allani：AI 攻击将从“内容生成”转向目标驱动的自主操作：通过反馈循环优化侦察、钓鱼、横向移动和持久化。下一个主要的破坏性步骤是“代理入侵链”，攻击者将利用该链条操控组织的 AI 代理来：
- 通过合法连接器窃取敏感数据
- 利用自动化工具执行恶意操作
- 通过适应检测机制来维持隐蔽性
总而言之，具备 AI 能力的攻击者将利用你组织中具备 AI 能力的工作人员。
Vijay Dilwale：基于 AI 的攻击将逐渐摆脱显而易见的一次性漏洞利用，转向缓慢而持久的操控。
攻击者不再试图在单次交互中攻破模型，而是会随着时间的推移，逐步影响系统所感知的内容：它获取的数据、它信任的上下文，以及它被允许采取的行动。其目的并非是让 AI 出现引人注目的故障，而是让它一次又一次地表现出细微的异常。
例如，设想一个用于处理发票或审批费用报销的 AI 代理。如果攻击者能够影响该代理的学习数据，或获取供应商记录、历史审批记录或政策文件，那么它们就无需突破身份验证或利用代码漏洞。随着时间的推移，该代理会开始批准本不应批准的付款、优先处理错误的供应商，或跳过审核步骤——因为它已经将这种行为视为“正常”状态。
正是这种行为使得此类攻击变得非常危险。没有明显的系统漏洞或警报。系统仍然在按照设计执行其功能，只是其决策过程被悄无声息地推向了错误的方向。在规模比较大的情况下，这类操纵造成的破坏远比传统漏洞利用更为严重。
Igor Maljkovic：基于 AI 的攻击正从针对特定模型的漏洞利用，演变为针对 AI 系统在更大的环境中如何集成、获得信任以及被允许采取何种行动的系统性攻击。攻击者不再仅仅专注于直接破坏模型，而是越来越多地利用那些影响 AI 系统行为的输入、上下文和周边组件。
随着 AI 系统的自主性日益增强，并与各类工具及工作流紧密连接，攻击将越来越多地瞄准模型、数据源、决策逻辑和执行层之间的接口。操纵这些边界可能会导致 AI 系统在正常运行过程中采取有害行动，而且不需要攻击者的持续干预。
一个新兴的攻击类别是跨系统提示操纵，攻击者会构造看似对单个 AI 系统无害的输入，但当多个 AI 代理相互交互并传递信息时，这些输入却可能会引发有害的后果。随着 AI 与 AI 之间的通信日益普遍且监督程度偏低，攻击面随之扩大：攻击者利用系统之间的信任假设，将一个 AI 系统的输出作为载体来影响另一个 AI 系统的行为。令人担忧的并非是某一种具体的技术，而是随着自主代理越来越多地在链式或网络结构中运行，而且几乎不受人类监督，风险正呈累积之势。
归根结底，未来的危害并非源于某个具体的漏洞利用，而是源于失调的自主性。当 AI 系统被赋予超出其稳健性的权限、集成能力或运营责任时，微小的操纵就可能引发连锁反应，最终对现实世界造成大规模的影响。
InfoQ：当 AI 系统遭到入侵或出现异常行为时，传统的事件响应手册便可能不再适用。各组织正在如何调整其信息检索（IR）流程以应对与 AI 相关的事件？安全团队又需要掌握哪些新技能？
Elham Arshad：各组织正开始重新审视其事件响应策略，因为 AI 故障与传统的安全问题截然不同。团队不仅要应对恶意软件、配置错误或遭入侵的服务器，现在还必须处理行为类问题，例如提示词注入、受污染的训练数据、被盗的模型权重，或是大型语言模型（LLM）突然表现出异常或不安全的行为。
为了跟上这一趋势，企业正在组建跨职能的 AI 事件响应团队。现在，安全分析师与机器学习工程师、数据科学家和软件团队并肩协作，共同构建“设计安全”的 AI 系统。他们还正在扩展监控范围，涵盖提示词、模型输出、数据管道，以及任何可能表明 AI 系统出现偏离、被操纵或故障的迹象。
最后，各组织正在将 AI 治理融入事件响应生命周期的每个阶段。发生事件后，他们不仅会问“哪里出了问题？”，还会问“为什么模型会这样表现？”。要回答这些问题，就需要审查训练数据、模型假设和防护措施，以了解是否是 AI 本身导致了问题，以及下次如何预防此类问题。
Sabri Allani：各组织正在制定针对 AI 的事件处置手册，将模型视为具有独特证据来源的动态组件。关键调整包括：
- 证据收集范围超越日志，涵盖提示词、检索到的文档、工具调用跟踪记录、模型/版本哈希值、策略快照以及训练数据溯源。
- 针对 AI 量身定制的遏制策略，例如禁用高风险工具/连接器、缩小检索范围、回滚模型/提示词版本，以及实施更严格的防护措施。
- 事件发生后的行为回归测试，保证系统已经恢复到已知的正常行为基线。
新技能包括 AI 取证、理解模型故障模式、评估方法论，以及分析“模型受到哪些因素影响”（例如数据、检索、工具和政策）的能力。
Vijay Dilwale：这是一个仍然在快速演变的领域。我认为，目前还没有人能断言自己已经完全掌握了 AI 事件响应的全部要领。现有的多数应对手册都是针对行为可预测、操作易于追踪的系统编写的。当 AI 系统出现意外行为时，尤其是那些依赖检索或工具的系统，这些假设便开始不攻自破。
根据我迄今为止的观察，各团队往往是在实践中边调整边适应，而不是遵循成熟、标准化的方法。例如，当 AI 助手泄露敏感信息或采取了非预期的行动时，人们首先提出的往往不是“谁访问了什么？”，而是“系统为什么会在那一刻做出这样的决定？”。传统的日志记录很少能单独解答这个问题。团队最终不得不重建系统所“看到”的内容、检索了哪些数据、哪些上下文或指令对其产生了影响，以及这些因素如何导致了最终的结果。事件响应逐渐演变成法证分析、模型评估和系统调试的混合体。
这一新威胁也改变了安全团队所需具备的能力。安全工作的重点不再是遵循预先制定的检查清单，而是要能够事后对系统行为进行分析推断，并与开发该 AI 的工程师密切合作。目前，在这方面，大多数组织仍然处于早期探索阶段，针对新问题的许多应对措施都带有试验性质，但随着真正与 AI 相关的安全事件开始出现，事件响应似乎正朝着这个方向发展。
Igor Maljkovic：随着 AI 系统的自主性日益增强，各组织正在将事件响应的重心从事后调查转向持续评估。传统事件响应（IR）基于具有可追溯日志的确定性系统，但 AI 事件往往涉及突发行为、数据驱动的策略突变，或隐蔽的提示级操纵。
因此，企业正在采用具备 AI 感知能力的监控层，用于追踪模型的输入、输出、行为漂移和决策路径；同时配备模型取证工具，能够重放提示词、重建上下文，并识别数据或训练管道中的污染点。
安全团队还正在组建跨职能的事件响应小组，将 AI 安全工程师、机器学习工程师、数据科学家和 AI 安全专家汇聚在一起。这种协作对于分析模型行为、对齐失效、反馈循环以及不符合传统漏洞模型的涌现行为至关重要。
所需的新技能侧重于理解 AI 系统在压力下的行为表现、错误和操作如何在 AI 管道中传播，以及系统如何随着时间的推移以意想不到的方式变化。安全团队必须调查那些涉及系统行为转变而非明确软件故障的事件。这种行为转变要求我们超越传统的漏洞分析，转向对 AI 系统中信任、影响和控制的推理。
InfoQ：随着我们逐步采用更加自主的 AI 代理和通用 AI （AGI）系统，组织需要为安全架构和安全思维方式的哪些根本性变化做好准备？安全负责人现在应该采取哪些措施，以应对未来的 AI 安全挑战？
Elham Arshad：随着组织逐步转向自主性更高的 AI 代理，并最终迈向通用 AI （AGI），安全措施已经不能仅限于保护基础设施。它必须防范那些能够采取行动、做出决策、串联工具，且一旦被滥用或遭到入侵便可能造成实际危害的目标驱动型软件。这些漏洞要求我们将 AI 代理视为真正的身份实体，而不仅仅是功能组件。每个智能体都需要拥有独立的用户档案、权限、凭证和生命周期，就像一名员工一样。企业不应该默认信任智能体，而是应该采用“零信任”（ZT）理念：仅向智能体授予其绝对必需的有限权限，并对每项敏感操作进行政策合规性核查。
对于高度自主的系统而言，安全性还涉及对正常行为的理解和监控：代理通常如何调用 API、访问哪些数据，以及执行哪些任务。像 Obsidian Security 这样的公司已经将这种基于行为的方法视为确保代理安全且可预测的关键。为了确保控制权牢牢掌握在自己手中，组织应在工具层采用基于事件的防护机制，并制定相关规则，除非得到人的明确批准，否则阻止删除或配置更改等危险操作。
为了应对这些挑战，安全负责人应该立即着手准备：对所有 AI 系统进行盘点，将智能代理集成到身份和访问管理中，并设计能在出现错误时安全限制智能代理行为的环境。此外，安全负责人还需要组建专门针对 AI 的“红队”，更新针对 AI 故障的事件响应计划，并组建由安全、机器学习、数据和法律专家组成的跨职能团队。那些及早投资于这些基础建设的组织，将能够在扩展先进 AI 应用规模的同时将风险降至最低，从而安全地提升自主性。
Sabri Allani：有两项根本性的转变：
- 从边界/控制平面安全地转向以行为和权限为中心的安全模式，将代理视为具有持续授权和严格最小权限原则的半自主行为体。
- 从静态系统转向持续演进的系统，安全措施必须考虑到系统漂移、涌现性行为以及不断变化的风险特征。
从实际操作来看，领导者现在就应该投资于代理/工具的身份识别与策略执行、健壮的审计日志、安全的数据管道、持续评估，以及针对模型更新的强有力的治理机制。
Vijay Dilwale：随着我们朝着更自主的 AI 代理迈进，我观察到，真正的转变在于：安全防护的重点正从保障执行指令的软件，转向保障能够做出决策并采取行动的软件。从架构的角度来看，这一转变揭示出，许多系统在设计时都是基于这样一个假设：行动总是由人类或受严格控制的服务发起。一旦代理开始在各种工具和工作流中运行，这一假设便不再成立。
从设计的角度来看，身份和权限变得至关重要。代理必须作为定义明确的参与者运行，其可访问的范围和可执行的操作都应该有明确的界定。同样重要的是，系统需要明确区分某项操作是由 AI 代理、人类还是后台进程执行的。如果缺乏这种清晰度，随着自主性的提高，信任、治理和控制将迅速瓦解。
这种思维转变在于，接受“意外情况是运营模式的一部分”这一事实。安全工作的重点不再是试图防止每一次故障，而是设计出能够安全、透明地发生故障，而且组织能够从故障中恢复的系统。现如今，为这一转型做好准备，就意味着将代理权限、可审计性以及人工干预视为首要的安全关注点，而非未来才需要解决的问题。
Igor Maljkovic：随着组织逐步转向更自主的 AI 代理，并最终迈向通用 AI （AGI）级的系统，安全防护的重点将不得不从确定性假设转向保护系统行为。传统的安全架构假设系统只会执行通过编程明确下来的任务。相比之下，自主 AI 系统则通过隐性推理、工具使用以及无法事先完全预测的自发策略来运作。
这要求从根本性上重新设计信任边界。仅仅隔离 AI 系统的运行环境或部署方式已经远远不够。我们还必须隔离并限制允许 AI 执行的操作。监督机制必须包含实时行为监控，控制措施必须明确限制模型发起行动所产生的影响。安全团队必须明确界定 AI 系统能够做什么、在何种条件下执行以及会对下游什么影响。
必须采取的一项具体措施是，在部署任何自主能力之前，先建立全面的风险评估机制，明确分析该系统若被完全攻破或表现出敌对行为时可能造成的最大潜在损害。这一要求迫使组织正视其默认授予的信任。
安全负责人应该立即着手准备：将考虑 AI 因素的威胁建模融入每个工作流程，围绕自主系统建立起坚实的防护机制，并组建跨职能团队，使其能够理解机器学习工程与安全工程交叉领域中的故障模式。领导者必须投资于能够长期观察模型行为（而不仅仅是系统状态）的监控基础设施，并且针对具备学习、适应和演进能力的系统开发出合适的事件响应能力。
InfoQ：抛开具体的工具和框架不谈，为了有效守护我们这个日益由 AI 驱动的未来，安全工程师今天必须采取的、最具影响力的单一行动或思维转变是什么？
Elham Arshad：这一转变将开启其他一切可能：“将 AI 系统视为不可预测、以目标为导向的行为体，而非软件组件；它能够进行推理、适应环境，并表现出其设计者从未完全预料到的行为”。
AI 安全不在于追查漏洞，而在于约束行为、管理激励机制，并防范数据、目标和上下文方面的故障，而不仅仅是代码层面的问题。这种思维方式将安全策略从试图阻断受损输入，转变为通过沙箱技术、操作级的“零信任”机制、严格的能力控制以及持续的行为监控，主动防范危险行为。简而言之，AI 安全不再主要侧重于修复软件，而是更多地关注对这一强大的数字行为体的监督与约束，使验证、监督和遏制成为我们保障未来系统安全的核心举措。
Sabri Allani：应树立这样的观念： AI 系统既是软件，也是决策实体。换言之，安全工作必须侧重于控制行为和影响，而不仅仅是漏洞。具体来说，我们必须对工具和数据实施最小权限原则，要求能够追溯输出结果产生的原因（包括检索记录和工具执行日志），并像测试安全控制措施一样，持续测试其行为。
Vijay Dilwale：抛开具体的工具和框架不谈，安全工程师需要进行的最大思维转变，就是从单纯关注漏洞利用，转向关注系统行为和风险遏制。在 AI 驱动的系统中，意外或“奇怪”的行为并非边缘案例，而是运行模式的一部分。
例如，这不仅仅关乎模型是否会生成不恰当的响应，而是这种响应本身就可能带来声誉或法律风险。关键在于，当 AI 系统检索到错误数据、误解上下文，或者采取了技术上虽获授权但在该情境下本不应采取的行动时，会发生什么。团队能否迅速发现问题、查明原因，并在影响扩散之前将影响范围控制在最低限度上？
目标并非追求完美或消除所有故障模式，而是为了在事情不可避免地出错时，能够具备韧性、可预见性和可控性。
Igor Maljkovic：安全工程师必须进行的最具影响力的转变，就是从静态的、基于假设的安全模式转向对系统行为的持续验证。在 AI 驱动的世界中，模型的行为具有概率性，会根据上下文改变行为，并且可能会产生工程师在设计时未能明确预料到的结果。
因此，安全措施不能再仅仅依赖于预定义的规则、固定的信任边界或对确定性行为的预期。相反，工程师必须对机器生成的决策保持持续的怀疑态度，将 AI 视为一个必须对其行为进行监控、约束和质询的“不可信协作者”，而非“可信组件”。这种转变将决定未来几年内有效的防御策略。
小结
AI 深刻重塑了威胁格局以及安全工程师的工作方式。从保护静态软件转向保障动态、自适应系统的安全，这标志着安全思维的一次重大演进。如今， AI 安全已经涵盖代码、基础设施、数据源、模型行为及其相互作用。虽然传统的安全框架依然有其价值，但需要加以改进，通过整合 AI 威胁建模和行为监控来应对新出现的挑战。
随着 AI 威胁的日益加剧，安全工程师的角色正从单纯的“守门人”转变为行为监视者。这种方法将 AI 系统视为难以预测的实体，需要持续的进行验证和控制。安全工作的重点已经从固定的假设转向持续的行为评估。这一转变要求具备先进的工程技能以及基于研究的实用解决方案。
使用 AI 系统会带来一些问题，例如更容易遭到黑客入侵，以及无法预知 AI 接下来会采取什么行动。要达到完美是不可能的；相反，韧性和快速响应才是有效防御的关键。行为稳定性、事件检测速度等指标比传统指标更为重要。
有一个新出现的攻击类别特别值得关注：跨系统提示操纵。此类攻击不同于针对单一系统的传统攻击。它们生成的输入单独看似乎无害，但当多个 AI 代理相互交互并共享信息时，就会造成危害。随着 AI 相互之间的通信日益增多且监管不足，攻击面将大幅扩大。未来的危害很可能并非源于某个具体的漏洞利用，而是源于自主性失调。当 AI 系统被赋予了超出其能力范围的权限、集成能力或运营责任时，便会出现这种扩大了的攻击面。
组织需要在监控工具方面进行投资。这些工具应该能发现跨越系统边界的异常模式。组织还必须明确 AI 与 AI 交互过程中的责任归属。此外，至关重要的是对 AI 的输出结果保持怀疑态度。要有这样一种意识，这些输出结果可能来自于存在缺陷、需要验证的输入数据，而非可信数据。只有将技术控制与谨慎监控相结合，组织才能在这个不断变化的环境中蓬勃发展。
本文是“保障 AI 技术栈安全：从模型到生产”系列文章的一部分。本系列为你提供了迈向机器时代的路线图，探讨了如何通过分层防御、稳健的 MLOps 以及集成治理，将存在安全漏洞的原型转变为具有韧性的系统。
原文链接：https://www.infoq.com/articles/security-ai-threat-evolution/
