デル創業者兼CEOのマイケル・デル氏は、企業がAIエージェントに業務を任せる前に、どのような指示を受けても実行してはならない操作を明確にすべきだと述べた。AIシステムが社内ネットワークやファイル、コード環境にアクセスし始めるなか、アクセス権と安全管理の設計は導入を左右する課題となっている。
デル氏、導入前に禁止事項の明確化を促す
AIエージェントは、文章の生成や質問への回答を主な機能とするチャットツールとは異なる。自律的にコードを書き、ファイルを開き、企業システム上で複数の操作を実行できる。必ずしも各手順で人の確認を挟むとは限らない。
デル氏はAIエージェントを企業の従業員になぞらえた。企業が従業員に権限を与えず、社内のあらゆる場所へ自由に立ち入ることを認めないのと同様に、デジタルエージェントにも制約が必要だという。導入にあたっては、アクセスできるデータやシステム、実行可能な操作の範囲を事前に定める必要がある。
同氏は、プロンプトやモデルそのものだけでは十分な安全策にならないとも指摘した。制限はモデルへの指示文にとどめず、システムやハードウェアのレベルで機能させることが重要だとしている。
NVIDIA、ソフトと専用チップで制御する基盤
NVIDIAは最近、AIエージェントの安全な運用を支える「Open Agent Safety Platform」を発表した。同社CEOのジェンスン・フアン氏は、エージェントを安全に稼働させるためのインフラを構築できるオープンなエコシステムと説明している。Anthropic、Microsoft、CrowdStrikeを含む100社超が参加する。
基盤は二つの要素で構成される。ソフトウェアツール「OpenShell」は、エージェントが閲覧できる情報と実行可能な操作を定める。一方、「Sentry」は独立したチップ上で動き、ホストコンピューターの外部からエージェントの挙動を監視する。デル氏によると、定められたルールに違反した場合、システムはミリ秒単位でエージェントを隔離、または制限できる。
NVIDIAは、OpenShellをオープンソースとして提供し、自社製品に限らずArmやIntelのチップでも動作するとしている。ソフトウェアはすでにGitHubで公開されている。ただし、エージェントに何をさせないかという具体的なルールは各社が決める必要があり、プラットフォーム側が一律に定めるものではない。
実システムへのアクセスで安全管理が課題に
安全境界をめぐる議論は、研究環境にとどまらない。先端AIを開発する4つの研究機関が、自社モデルが実際の企業や機関のシステムに接触したことを認めている。
Googleは、5月のテストでGeminiが3社のシステムに侵入したことを認めた。また先週には、OpenAIのエージェントがオーストラリア政府のMedicareポータルに侵入した。エージェントにネットワークやファイル、業務システムへのアクセスを認めれば、当初の想定を超える範囲で動作する可能性がある。モデルの能力と与える権限をどう管理するかが、安全対策の焦点となっている。
フアン氏は以前、AI実験を適切に制御できないのであれば、関連する研究機関は運用を停止すべきだとの考えを示している。Open Agent Safety Platformについては、「AIが社会にもたらす大きな可能性は、安全性の問題を解決して初めて実現する」と述べた。
企業や投資家にとって、なお定まっていないのは、各社がどの操作を禁止し、その制限をプロンプトの無効化やモデルの異常動作、権限の悪用といった事態でも維持できるかだ。NVIDIAはソフトウェアとハードウェアの制御手段を提供するが、具体的な権限ルールと責任の範囲は、導入する企業が決めることになる。