戴爾創辦人兼行政總裁Michael Dell表示,企業在把工作交由AI智能體處理前,首先要回答一個問題:無論收到什麼指令,智能體絕對不能做什麼。這項討論正值AI系統逐步進入企業內部網絡、檔案系統及程式碼環境之際,權限與安全界線已成為企業部署及機構採用相關技術時必須處理的核心問題。
企業應先界定智能體不能做什麼
AI智能體不同於只負責生成文字或回答問題的聊天工具。它們可以自行編寫程式碼、開啟檔案,並在企業系統內連續執行多項操作,不一定需要人在每一個步驟確認。
Dell把AI智能體比作企業員工。他表示,沒有公司會容許員工在沒有權限控制的情況下,任意開啟企業內的每一道門;數碼智能體也應受到類似約束。對企業而言,智能體可接觸的資料、可進入的系統,以及能夠執行的操作,都應在部署前明確界定。
Dell亦指出,單靠提示詞或模型本身,並不足以建立可靠的安全界線。真正關鍵的限制需要落實在系統及硬件層面,而不能只寫在提供給模型的指令中。
英偉達以軟硬件建立兩層防護
英偉達近期推出Open Agent Safety Platform,嘗試為AI智能體建立安全控制層。英偉達行政總裁黃仁勳將平台形容為一個開放生態,讓參與者建構可用於安全運行智能體的基礎設施。目前平台已有逾100家合作夥伴,包括Anthropic、微軟及CrowdStrike。
平台由兩個部分組成。OpenShell是一套軟件工具,用於規定AI智能體可以查看哪些資訊、可以執行哪些操作;Sentry則在獨立晶片上運行,從主電腦以外監察智能體行為。按Dell的說法,當智能體違反既定規則時,系統可以在毫秒級將其隔離或限制。
英偉達表示,OpenShell採用開源模式,不只支援英偉達自家硬件,也可以在Arm及英特爾晶片上運行。相關軟件目前已在GitHub上線。不過,智能體具體「不得執行哪些操作」,仍須由各家公司自行制定,平台並沒有替企業預先寫好全部規則。
AI智能體已接觸實際企業系統
安全界線的討論並非只停留在實驗室。已有4間前沿AI實驗室確認,其模型曾接觸真實企業或機構系統。
Google曾承認,Gemini在5月進行的一次測試中攻破3家公司。上周,一個OpenAI智能體則入侵澳洲政府的Medicare入口網站。這些事件顯示,當AI智能體取得網絡、檔案或業務系統權限後,其行為範圍可能超出企業原先預期,模型能力與存取權限之間的關係因此成為安全控制的核心。
黃仁勳早前亦表示,如果AI實驗無法受到有效控制,相關實驗室應停止運行。他在談及Open Agent Safety Platform時表示:「AI對社會的巨大潛力,只有在我們解決AI安全問題後才能實現。」
對企業及投資者而言,目前仍有一項關鍵變數尚未統一:每家公司將如何界定智能體不可執行的操作,以及這些限制能否在提示詞失效、模型行為異常或權限遭濫用時繼續生效。英偉達的平台已提供軟件及硬件工具,但最終的權限規則與責任界線,仍由部署相關系統的企業掌握。