芯耀
与非AI
78
随着 AI 从生成答案迈向自主行动，安全防护不再局限于模型本身，而必须覆盖将智能决策转化为实际行动的完整系统
在生成式人工智能（AI）时代，关于安全的讨论大多聚焦于保护模型、提示词和数据。而智能体 AI 时代则为安全挑战增加了新的维度，因为如今 AI 已经能够自主使用工具、访问系统、编写代码，并以机器速度执行操作。航班预订就是一个典型例子，生成式 AI 系统可能只会向用户提出航班预订建议，而智能体系统则可以自行检索票价、调用已保存的支付信息，代表用户完成预订操作。
智能体时代的安全基础并没有改变，仍包含身份识别、最小权限原则、隔离机制、可信执行、内存安全、监测和韧性设计等核心要素。但变化在于其运行模式。随着智能体能够自主行动、动态选择操作，并跨越不同软件、基础设施、边缘设备和物理系统运行，它们需要明确且可强制执行的边界来限定其访问范围和行动权限。仅保护模型已不再足够，安全防线必须覆盖从智能到行动的完整路径。
这也是推动智能体 AI 大规模应用的关键。组织需要确信自主系统始终在既定边界内运行，其行为能够被追踪和归因，并且当异常行为出现，能够得到有效控制。安全本身并不能直接建立信任，信任最终取决于用户、应用场景以及风险等级，但安全可以提供可核验的边界、问责机制与系统韧性，这正是构建信任的基础。
Arm 执行副总裁兼首席商务官 Will Abbey 阐述了行业向智能体 AI 转变的趋势，以及这一变革对云、边缘与物理世界应用场景带来的影响
智能体 AI 需要全栈安全防护
没有任何单一的安全机制能够保护从推理到执行的完整路径。智能体时代的安全需要多种互补的控制机制，覆盖智能体运行时、软件栈、主机计算平台、基础设施，以及最终执行决策的设备和系统。
系统必须能够识别执行操作的主体、依据用户的权限开展活动，并确保其仅能执行被授权的操作。当智能体动态选择行动，相关策略必须始终能够得到有效执行。同时，操作过程需要具备可观测性，确保自主行为的责任可追溯。当出现异常时，系统还需具备相应机制，遏制意外或未经授权的行为。
这些要求背后的基本架构原则很明确：作出决策的组件，不应同时拥有批准该决策是否被允许的唯一权限。模型负责提出行动方案，系统负责授权，并确保相关约束得到执行。
要将这一原则落到实处，需要在智能与行动之间的多个环节建立安全防护：
- 建立可信执行环境；
- 保护从决策到执行的路径；
- 通过独立机制，判断某项操作是否获准执行；
- 保护最终执行该操作的设备或系统。
Arm 数十年来在安全计算领域的积累，在此尤为重要。Arm 提供覆盖信任根（RoT）、安全启动、度量启动、远程认证、隔离机制以及内存安全等方面的基础架构，同时配套参考软件、应用程序编程接口（API）和生态支持，帮助开发者便捷调用上述各项能力。
这些技术从系统不同环节应对智能体 AI 的安全挑战。安全启动和远程认证有助于验证工作负载和安全控制机制是否在预期环境中运行。然而，验证环境只是挑战的一部分，攻击者仍可能利用智能体运行时、工具宿主或策略执行软件中的漏洞，绕过安全控制或触发未授权操作。Arm 内存标记扩展（MTE）等内存安全技术，以及其他架构级的防御机制，则能够帮助降低这类风险，使推理与执行之间的软件链路中存在的某些内存安全漏洞更难被利用。
Arm 内存标记扩展详解
随着智能体获得对私有上下文、记忆和状态的持续访问权限，安全机制还必须负责管理敏感数据的释放条件。在信任要求更高的工作流程中，远程证明机制可以先验证执行环境的可信性，再向智能体开放受保护的上下文数据。
针对智能体实施独立安全管控
基础设施安全是智能体时代的另一个重要维度。随着智能体能力不断提升并具备持续运行能力，基础设施不仅需要计算资源来执行智能体工作负载，还需要独立的计算资源，对其进行观测、管控和约束。
CPU 与 DPU 协同架构，是这一原则的典型实现方式，它们均基于 Arm 提供统一的计算基础。CPU 负责运行智能体运行时、执行框架、编排系统、工具调用以及应用程序；DPU 能够为网络、监测、隔离以及安全服务等基础设施功能提供独立的运行环境。
Arm CPU 托管并运行智能体工作负载，而基于 Arm 架构的 DPU 则独立地对其进行观测、管控、隔离和保护
这进一步印证一项原则：当安全管控机制与受监管的进程相互隔离，管控效力会得到强化。NVIDIA 最新发布的 NVIDIA 开放智能体安全平台（NVIDIA Open Agent Safety Platform）展示了这一架构模式如何应用于智能体基础设施。
安全防护必须随行动延伸
随着智能体工作流逐渐从数据中心，延伸至 PC、智能手机、边缘设备和物理 AI 系统，安全挑战的范围也随之扩大。未来，一个智能体可能在云端利用模型完成推理，在边缘设备上处理私有上下文数据，最终通过机器人或工业设备执行实际操作。
因此，安全能力需要沿两个维度持续扩展：
1.贯穿每个系统内部的计算栈；
2.覆盖智能体接触的每一个计算环境。
所有计算环境都遵循同一核心原则：智能体仅可访问已授权的资源、执行获准的操作。然而，与云和数据中心相比，边缘和物理 AI 系统面临着不同的挑战。
跨边缘、云和物理环境的智能体工作流
消费设备、摄像头、机器人、汽车及工业设备，并不像云端虚拟资源那样容易实现隔离。当智能决策越来越多地转化为现实世界中的物理行动，安全机制必须贯穿软件、通信链路以及最终执行这些操作的设备。这对设备的身份、通信认证、权限管理、设备侧策略执行、可审计性提出了更多要求。Arm Device Connect 为 AI 智能体与各类异构设备之间的发现与交互提供统一方式，帮助构建支持身份认证、权限管理和治理机制的连接层。
此外，随着智能体越来越多地与物理设备和系统交互，智能体安全还必须与现有设备安全以及功能安全体系相衔接。身份识别、身份认证和授权机制需要延伸到设备端，并与设备端的约束机制、运行限制条件、故障保护机制，以及用于保障物理系统安全运行的各类既有安全机制协同运作。信息安全机制决定某项操作是否获得授权，功能安全机制则决定该操作能否在既定的安全运行范围内执行。当智能体 AI 走进物理系统，二者必须协同发挥作用。
围绕智能构建安全体系
从生成式 AI 向智能体 AI 的转变，改变了 AI 安全领域的一项基本预设。过去，模型只负责生成信息，由人来决定是否据此采取行动；如今，智能体 AI 系统已经能够自主发起行动。安全防护必须从仅保护模型和数据，扩展到管控从推理到执行的整个过程。
这也催生了一种全新的 AI 架构模式：模型决定所要执行的行动，由独立系统判定该行动是否可获准执行。从信任根、远程认证，到内存安全、独立基础设施管控与设备身份认证，随着智能体 AI 从云端扩展至边缘和物理系统，每一层技术都在帮助强化这种职责分离机制。
Arm 提供统一的架构基础与安全技术，帮助在整个系统层级落实这些边界约束。随着智能体 AI 获得越来越强的自主行动能力和执行能力，相应的安全保护也同步扩展，并发挥作用。
