マイクロソフトの会長兼CEO、サティア・ナデラ氏は10月10日、先端AIシステムに隔離措置や独立した制御機能を設け、権限を持つ人が稼働中のモデルを一時停止または終了できる「緊急停止」の仕組みを導入すべきだと述べた。提言は、AI安全をモデルの性能だけでなく、運用管理や監査のあり方にも広げるものだ。企業にとっては、AI導入に伴う業務停止やシステムの制御不能といったリスクへの備えが問われる。
ナデラ氏、モデルを支える運用管理を提言
ナデラ氏はソーシャルメディアのXへの投稿で、出力が一定しないモデルを使う場合、周囲に強固で予測可能なシステム設計、人による制御、信頼性の高い運用手順が必要だと指摘した。既存の基準では不十分な場合、業界で新たな規範を整備する必要があるとも述べた。また、最先端のクローズドモデルとオープンウェイトモデルを「内部リスク」として扱い、それに応じた防護策を構築する考え方を示した。
提言には、システムの可観測性を高めることも含まれる。複数のモデルを活用し、モデルの行動を人が読める形で記録するほか、継続的なテスト、独立した制御と監査、隔離措置、事故の開示を組み合わせるとしている。こうした要件は、AI製品の導入コストや運用責任、損失が発生した場合の対応に関わるため、企業や投資家にとっても事業上の論点となる。
ナデラ氏は、最も信頼できる超知能システムとは、人々が最も信頼するモデル一つに依存するものではないと説明した。モデル自体を慎重に評価しながらも、システム全体の運用を信頼できる仕組みが重要だという。
開発の速さと安全策をめぐり、業界内で議論
ナデラ氏の発言は、AIの安全対策をめぐる議論が続くなかで出た。マイクロソフト共同創業者のビル・ゲイツ氏、AnthropicのCEOダリオ・アモデイ氏、OpenAIのCEOサム・アルトマン氏、SpaceXのCEOイーロン・マスク氏らも、安全対策の不足や技術開発の速さに懸念を示してきた。
先月には、AI研究者の一人がAnthropicを離れ、同社と競合するOpenAIが人々の命を危険にさらしていると批判した。同じ日、AnthropicでAI安全を担当するアラインメント部門の責任者は、今後10年以内にこの技術が「人類の絶滅」を引き起こす確率は10％を超えるとの見方を示した。こうした発言は極端なリスクへの関心を示す一方、リスク評価やガバナンス、懸念の公表の仕方をめぐる議論も呼んでいる。
米国は中国との競争を重視
米国のドナルド・トランプ大統領は、AIが人類絶滅を招く可能性を繰り返し軽視する一方、AI分野で中国をリードする必要性を強調している。最近では、新組織「AI Force」の設立も発表した。国家情報長官のジェイ・クレイトン氏が率い、業界の発展を後押しするとともに、不適切な行為者を洗い出すことなどを任務とする。
AIガバナンスをめぐっては、安全管理の強化や先端技術の開発ペースを抑えるべきだという企業幹部・研究者の意見と、産業競争力を優先する米政府の姿勢が並行している。ナデラ氏が挙げた人による緊急停止、隔離、監査、事故開示は、AIの開発や導入を進めるなかで、人が介入できる仕組みをどう確保するかという課題に焦点を当てている。