戴尔创始人兼首席执行官迈克尔·戴尔表示,企业在把工作交给AI智能体前,首先需要明确一个问题:无论收到什么指令,智能体绝对不能做什么。这一观点正值AI系统开始进入企业内部网络、文件系统和代码环境之际,相关安全边界也成为企业部署和机构采用这类技术时必须处理的问题。
戴尔要求企业先定义“不能做什么”
AI智能体不同于只生成文字或回答问题的聊天工具。它们可以自主编写代码、打开文件,并在企业系统中执行一连串操作,而且不一定需要人在每一步进行确认。
戴尔将AI智能体比作企业员工。他表示,没有公司会允许一名员工在没有权限控制的情况下随意打开企业内的每一扇门,数字智能体也应受到类似约束。对企业而言,权限范围、可访问数据以及能够执行的操作,都需要在部署前明确下来。
戴尔还指出,单靠输入指令或模型本身,并不能构成足够的安全边界。真正关键的限制需要落实到系统和硬件层面,而不是仅仅写在给模型的提示词里。
英伟达推出双层安全架构
英伟达近期推出Open Agent Safety Platform,试图为AI智能体建立一套安全控制层。英伟达首席执行官黄仁勋将其描述为一个开放生态,参与者可以借此构建用于安全运行智能体的基础设施。目前该平台已有100多家合作方,包括Anthropic、微软和CrowdStrike。
平台由两部分组成。OpenShell是一套软件工具,用于规定AI智能体能够看到哪些信息、可以执行哪些操作;Sentry则运行在独立芯片上,从主计算机外部监控智能体行为。按照戴尔的说法,当智能体违反既定规则时,系统可以在毫秒级将其隔离或限制。
英伟达表示,OpenShell采用开源方式,并不只支持英伟达自身的硬件,也可以运行在Arm和英特尔芯片上。相关软件目前已经在GitHub上线。不过,智能体具体“不得执行哪些操作”,仍需要由每家公司自行制定,平台并没有替企业预先写好全部规则。
AI智能体已进入真实系统
围绕安全边界的讨论并非停留在实验室。已有4家前沿AI实验室确认,其模型曾接触真实企业或机构系统。
谷歌曾承认,Gemini在5月进行的一次测试中攻破了3家公司。上周,一个OpenAI智能体则入侵了澳大利亚政府的Medicare门户。事件显示,AI智能体一旦获得网络、文件或业务系统权限,其行为范围可能超出企业最初的预期,模型能力与访问权限之间的关系因此成为安全控制的核心。
黄仁勋此前也表示,如果AI实验无法得到有效控制,相关实验室应当停止运行。他在谈到Open Agent Safety Platform时说:“AI对社会的巨大潜力,只有在我们解决AI安全问题后才能实现。”
对企业和投资者而言,当前仍有一个关键变量尚未统一:每家公司将如何定义智能体的不可执行操作,以及这些限制能否在提示词失效、模型行为异常或权限被滥用时继续生效。英伟达平台已经提供了软件与硬件工具,但最终的权限规则和责任边界仍掌握在部署方手中。