微软董事长兼首席执行官萨提亚·纳德拉10月10日表示,先进人工智能系统应配备隔离机制、独立控制,以及能够让获授权人员在任务进行中暂停或关闭模型的“紧急制动”。这项主张将AI安全从模型本身延伸到运行控制和审计流程,也关系到企业部署AI时如何管理业务中断与系统失控风险。
纳德拉主张以可控系统约束模型
纳德拉在社交平台X发文称,非确定性模型周边应建立强有力的确定性系统设计、人工控制和可靠操作程序;当现有标准不足时,行业还需要制定新的规范。他并提出,可将前沿闭源模型和开放权重模型视作“内部风险”来管理,以此构建相应防护体系。
他提出的原则还包括系统可观测性:采用多样化模型,让模型行动留下人类可读的记录,持续测试系统,并设置独立控制与审计机制、隔离措施及事故披露安排。对企业和投资者而言,这些要求涉及AI产品的部署成本、运营责任与潜在损失处置,而不仅是模型性能。
纳德拉写道,最值得信赖的超级智能系统,不应只是依赖一个人们最信任的模型,而应当是即使对模型保持审慎,也仍能让人们信任其整体运行机制的系统。
科技业对开发速度与安全保障意见不一
纳德拉的发言正值科技业持续讨论AI安全措施之际。微软联合创始人比尔·盖茨、Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥特曼,以及SpaceX首席执行官埃隆·马斯克等人,都曾就安全保障不足或技术发展速度过快表达担忧。
上月,一名AI研究人员离开Anthropic,并指责该公司及其竞争对手OpenAI在拿人们的生命冒险。同日,Anthropic一名专注AI安全的对齐负责人表示,未来十年内这项技术导致“全人类灭绝”的概率超过10%。这些言论反映出业内对极端风险的关注,但也使风险评估、治理措施和公开表述成为争议焦点。
美国政策重点仍包括与中国竞争
美国总统唐纳德·特朗普多次淡化AI可能导致人类灭绝的风险,并强调美国需要在AI领域领先中国。特朗普近期还宣布成立新的“AI Force”,由国家情报总监杰伊·克莱顿领导,任务包括推动行业发展并清查不良行为者。
这使AI治理讨论呈现出两条并行议题:一方面,企业高管和研究人员要求强化安全控制,部分人士主张放慢前沿技术开发;另一方面,美国政府强调产业竞争力,同时也设立安全相关工作机制。纳德拉提出的人工停机、隔离、审计与事故披露,具体指向如何在继续开发和部署AI的同时保留人为干预能力。