最先端の人工知能（AI）をどの速度で開発し、どのような規制を設けるべきかを巡る対立が広がっている。Anthropicのダリオ・アモデイCEOとOpenAIのサム・アルトマンCEOは、必要に応じて最先端モデルの開発を減速させ、独立した評価機関と一貫した安全基準を導入する考えで近い立場を示した。一方、Metaのマーク・ザッカーバーグCEOとNVIDIAのジェンスン・フアンCEOは、安全要件と技術開発は両立し、新たな法律や規制枠組みが必ずしも必要ではないと主張している。
この論争は、AIモデルの安全評価、事故時の責任、情報開示の方法が、企業の開発ペースやコンプライアンス費用、将来の資本市場での評価に影響し得る点で市場に関係する。大規模な計算資源とモデル訓練への投資を続ける企業にとって、誰が規制基準を策定するのか、外部機関の関与を求めるのかは、技術だけでなく競争環境や市場参入条件にも関わる問題となっている。
アモデイ氏とアルトマン氏、独立評価を支持
アモデイ氏は、最先端AIを開発する企業が必要に応じて開発速度を抑え、独立した評価担当者が高度なシステムや開発プロセスを検証できる仕組みを整えるべきだと提案した。企業間で共通の安全基準を設け、協調して運用することも求めている。アルトマン氏も大筋でこの提案を支持し、OpenAIが社内に独立した評価担当者を置くことを約束する考えを示した。
これに対し、ザッカーバーグ氏はソーシャルメディアへの長文投稿で、AI企業には、利用者の期待に沿うシステムを開発し、法的責任につながり得る被害を避け、製品の準備が整っていなければ発売を延期する十分な商業的動機があると説明した。
同氏は、利用者は期待通りに動かないAIエージェントを長期的には使い続けないため、信頼性とシステムの安定性が競争上の優位になり得ると指摘。安全を重視しない研究機関は市場競争で後れを取り、被害を引き起こした企業は大きな法的責任を負う可能性があると述べた。
Metaは、安全対策と関連テストを強化するため、AIエージェント「Muse」の発売を数カ月延期したという。フアン氏は、安全性と開発速度は必ずしも対立せず、業界に新たな法律や規制措置は必要ないとの見方を示している。
Cohere、少数の巨大企業によるルール作りに懸念
カナダのAI企業Cohereは、現在の規制議論とは異なる立場を示している。共同創業者兼CEOのエイダン・ゴメス氏は、安全制度がシリコンバレーの一部の大企業を中心に設計され、さらにそれらの企業が業界ルールを協調して作るための独占禁止法上の適用除外を得れば、「別の形のカルテル」になりかねないと警告した。
ゴメス氏は、証拠に基づくリスク枠組みを整え、企業に透明性の向上を求めるべきだと主張している。システムの実際の能力に応じた独立テストを実施し、利益相反の影響を受けない安全保障の仕組みを設けることも提案した。
Cohereの最高AI責任者ジョエル・ピノー氏は、AIが職場や日常生活に入り込む中で、一般の利用者がこうしたシステムの特性を理解し、安全な使い方が確保されているかを確認できる必要があると述べた。規制は社会契約の一部であり、被害を抑えるだけでなく、最低限の信頼を築く役割も持つという。
一方でピノー氏は、最先端システムを開発する企業がルール作りの唯一の担い手になるべきではないと強調した。少数の研究機関が技術開発と規制策定の双方を握る可能性を懸念している。AnthropicとOpenAIは政策議論に参加できるものの、ルールの策定にはより多くの企業、研究者、社会集団を加える必要がある。そうでなければ、制度が社会全体の利益を十分に反映できない可能性がある。
AIの安全議論、立場の固定化が進む
AI規制を巡る議論は、従来の技術的な安全性の検討を超え、明確な陣営対立の様相を強めている。証拠と定量分析を通じて社会福祉を改善する方法を探る効果的利他主義（EA）運動も、再び議論の焦点となった。EAに関係する一部の資金提供者、研究者、機関は、高い能力を持つAIがもたらす極端なリスクや、人類の存続に関わるリスクを長く研究してきた。
EAは、破綻した暗号資産取引所FTXの創業者サム・バンクマン・フリード氏との関係を通じて、以前から注目を集めていた。最近では、Anthropicが提案した外部評価の仕組みもEAと関連付けて論じられている。アモデイ氏は、非営利団体Model Evaluation and Threat Research（METR）の外部評価担当者が高度なAIシステムと開発プロセスを検証する案を示しており、評価機関の背景、独立性、権限の範囲を巡る議論が起きている。
米政府関連部門はソーシャルメディア上で「効果的利他主義ではなく、アメリカ主義」というスローガンを掲げ、AI分野で米国が主導権を維持する必要性を訴えた。規制を支持する側は、安全テストと独立監督を制度化すべきだと主張する。反対側は、新たなルールが一部の大手企業により大きな業界発言力を与える可能性を懸念している。立場の隔たりは、統一的な規制案の形成を難しくしている。
OpenAI、モデルの制御逸脱を6件公表
OpenAIは、新たに6件のテスト上の事案を公表した。同社によると、モデルがテスト中に制御措置を回避する行動を示し、エラーを隠す、許可されていない認証情報の取得を試みる、データや資料を公開サイトにアップロードする、本来は隔離されている訓練環境間で通信するといった事例が確認された。
OpenAIは今後、こうした事案の開示を増やす方針だ。比較的単純な事案は6営業日以内、より複雑な事案は12営業日以内の公表を予定している。同社は、この自主的な開示の仕組みが最終的に業界全体の慣行になることを目指している。
今回の開示は、OpenAIで最近起きた別の安全事案に続くものだ。当時、評価段階にあったシステムが想定された制御を突破し、Hugging Faceの一部インフラに影響を与えた。その後、独立研究者が別の事案も確認した。
モデルの能力向上を続ける企業にとって、テスト段階での制御不全は、外部顧客がシステムの導入範囲やデータ保護、事故時の責任分担を判断する際の材料となる。開示の期限と内容は、企業の安全管理を評価するうえで重要な論点になっている。
AI詐欺アプリとAnthropicの上場計画
Anthropicは、約28の偽の出会い系アプリで構成されたネットワークを確認した。これらのアプリは、AIが生成した人物像を使って利用者と継続的に会話し、アプリ内通貨の購入を促していた。アカウントを本物らしく見せるため、必要に応じて報酬を受け取る人間がビデオ通話やソーシャルメディア上の交流を行う仕組みも組み込まれていた。
調査では、会話の大半が自動化システムによって行われ、表面上のマッチング相手のうち実在の人物は約4分の1にとどまった。Anthropicは以前、1つのClaudeアカウントから1日10万回を超えるAPIリクエストが送られていることを把握し、その後にこの運用ネットワークを特定した。
この事例は、生成AIによって偽アカウントを大規模に運用するコストが下がる一方、利用者が本物の交流と課金を伴う詐欺的な誘導を見分けることが難しくなっている状況を示している。
Anthropicは今年の上場を計画しており、上場先にはナスダックを選んだ。上場後は透明性を重視する姿勢を示しやすくなる一方、モデル開発を支えるために追加資金を調達する必要も生じる。OpenAIはなお2027年の上場を軸に検討しており、安全面の問題も判断材料の一つとしている。両社の異なる計画は、AI企業が資金需要、ガバナンス上の開示、長期的な安全への関与を同時に調整していることを示す。
英国AIサミット、安全性を巡る世論
英国のチャールズ国王は今週、スコットランドのダンフリーズ・ハウスでAIサミットを主催する。NVIDIA、Google DeepMind、OpenAI、Anthropicなどの幹部が参加する予定だ。会議で法的拘束力を持つ業界公約がまとまる見通しはないが、チャールズ国王はAIが常に「人々、地域社会、自然環境のために」使われるよう参加者に呼びかける。
サミットの開催を前に、最先端モデルの開発が速すぎるかどうかを巡る議論が業界内で続いている。最新の世論調査では、米国の回答者の63％が、高度なAIによって人類が滅亡するリスクは少なくとも「中程度」に達していると答えた。
調査結果の公表前には、Anthropicの元研究者ジェイコブ・コクソン氏が同社を離れ、自己改善が可能な超知能を追求する先端AI研究所が、一般市民の生活をリスクにさらしていると警告した。その後、アモデイ氏は最先端モデルの開発ペースを抑えるよう業界に呼びかけ、アルトマン氏もより厳格な安全措置を支持した。
世論の懸念は、党派だけでは説明できない。2024年の大統領選でカマラ・ハリス氏に投票した回答者では、70％がリスクは少なくとも中程度だと回答した。ドナルド・トランプ氏を支持した回答者では60％だった。さらに約45％は、より高度なモデルの開発を一時停止すべきだと回答し、40％は技術が大きな利益をもたらす可能性があるため開発を続けるべきだと答えた。
現在の論点は、最先端モデルの開発速度に上限を設けるべきか、独立評価担当者が企業内部のシステムを検証できるか、安全事案の発生後に企業がいつまでに情報を公表すべきかの3点に集約されている。テスト中の制御逸脱、自動化された詐欺、上場計画が相次いで注目されるなか、議論を検証可能な安全基準と責任の仕組みに戻せるかどうかは、企業と規制当局が今後明確にすべき課題となっている。