微軟董事長兼執行長薩蒂亞·納德拉10月10日表示,先進人工智慧系統應配置隔離機制與獨立控制,並設置由獲授權人員在任務執行期間暫停或關閉模型的「緊急煞車」。這項主張把AI安全範圍從模型本身延伸至運行控制和審計流程,也牽涉企業部署AI時如何管理業務中斷及系統失控風險。
納德拉主張以可控系統約束模型
納德拉在社交平台X發文指出,圍繞非確定性模型,應建立強而有力的確定性系統設計、人工控制與可靠操作程序;在現有標準不足時,業界還需要制定新的規範。他並提出,前沿閉源模型及開放權重模型都可視為「內部風險」管理,據此建立相應的防護體系。
他提出的原則還包括系統可觀測性:採用多元模型,讓模型行動留下人類可讀的紀錄,持續測試系統,並設置獨立控制與審計機制、隔離措施及事故披露安排。對企業與投資者而言,這些要求涉及AI產品的部署成本、營運責任及潛在損失處置,而不只是模型效能。
納德拉寫道,最值得信賴的超級智慧系統,不應只是依賴一個人們最信任的模型;即使對模型本身保持審慎,整體運行機制仍應讓人們能夠信任。
科技業對開發速度與安全保障看法分歧
納德拉發表上述言論之際,科技業仍在持續討論AI安全措施。微軟共同創辦人比爾·蓋茲、Anthropic執行長達里奧·阿莫代伊、OpenAI執行長山姆·奧特曼,以及SpaceX執行長伊隆·馬斯克等人,過去都曾對安全保障不足或技術發展速度過快表達擔憂。
上月,一名AI研究人員離開Anthropic,並指責該公司及其競爭對手OpenAI拿人們的生命冒險。同日,Anthropic一名專注AI安全的對齊負責人表示,未來十年內,這項技術導致「全人類滅絕」的機率超過10%。這些言論反映業界對極端風險的關注,也讓風險評估、治理措施及公開表述成為爭議焦點。
美國政策仍聚焦與中國競爭
美國總統唐納德·特朗普多次淡化AI可能導致人類滅絕的風險,並強調美國需要在AI領域領先中國。特朗普近期還宣布成立新的「AI Force」,由國家情報總監杰伊·克萊頓領導,任務包括推動產業發展及清查不良行為者。
這使AI治理討論呈現兩條並行主線:一方面,企業高管與研究人員要求強化安全控制,部分人士主張放慢前沿技術開發;另一方面,美國政府強調產業競爭力,同時設立與安全相關的工作機制。納德拉提出的人工停機、隔離、審計與事故披露,具體指向企業在持續開發及部署AI的同時,如何保留人為介入能力。