围绕前沿人工智能发展速度和监管方式的争论正在扩大。Anthropic首席执行官Dario Amodei与OpenAI首席执行官Sam Altman近期罕见地站在相近立场,主张在必要时放慢前沿模型的开发,并引入独立评估机构和更具一致性的安全标准。Meta首席执行官Mark Zuckerberg与英伟达首席执行官Jensen Huang则认为,安全要求与技术推进并不矛盾,行业未必需要新增法律或监管框架。
这场争论的市场意义在于,前沿模型的安全评估、责任承担和信息披露方式,可能影响企业的研发节奏、合规成本以及未来资本市场估值。对于仍在大规模投入算力和模型训练的公司而言,监管标准由谁制定、是否需要外部机构参与,已经不只是技术问题,也涉及竞争格局和行业准入。
Amodei与Altman主张引入独立评估
Amodei提出,前沿AI公司应在需要时控制开发速度,允许独立评估人员检查先进系统及其开发流程,并围绕共同的安全标准展开协调。Altman总体支持这些建议,并表示OpenAI也将承诺在公司内部引入独立评估人员。
Zuckerberg在社交平台上发表长文回应称,AI公司已经拥有足够强的商业动机来开发符合用户预期的系统,避免可能引发法律责任的伤害,并在产品尚未准备好时推迟发布。他认为,用户不会长期使用行为不符合预期的智能代理,因此信任和系统可靠性可能成为竞争优势;未能重视安全的实验室可能在市场竞争中落后,而造成损害的公司则可能承担较大的法律责任。
Zuckerberg还表示,Meta曾将Muse智能代理的发布推迟数月,用于加强安全防护和相关测试。Huang则表示,安全与速度并不构成必然冲突,行业不需要新的法律或监管措施。
Cohere反对由少数巨头制定规则
加拿大人工智能公司Cohere对当前监管思路提出不同意见。Cohere联合创始人兼首席执行官Aidan Gomez警告,如果安全制度主要围绕少数硅谷大型公司建立,且这些公司获得协调制定行业规则的反垄断豁免,最终可能形成“换一种说法的卡特尔”。
Gomez主张建立以证据为基础的风险框架,要求企业提高透明度,并根据系统实际能力开展独立测试,同时设置不受利益冲突影响的安全保障机制。
Cohere首席AI官Joelle Pineau表示,人工智能进入工作场所和日常生活后,公众需要了解这类系统的特性,并确认其使用方式足够安全。她认为,监管是社会契约的一部分,制度的作用不仅是降低伤害,也包括建立基本信任。
但Pineau同时强调,开发前沿系统的公司不应成为规则的唯一制定者。她担心,少数实验室可能同时掌握技术开发权和规则制定权。Anthropic和OpenAI可以参与政策讨论,但制定规则时还应让更多企业、研究人员和社会群体参与其中,否则规则可能无法充分反映公众利益。
安全讨论正被推向阵营化
围绕AI监管的争论已经超出传统的技术安全讨论,逐渐呈现出明显的阵营化特征。有效利他主义运动(EA)也重新成为争议焦点。该运动强调通过证据和量化分析寻找改善社会福祉的有效方式,一些与EA有关的资助者、研究人员和机构长期关注高能力AI可能带来的极端风险,甚至是生存层面的风险。
EA此前因与已倒闭加密货币交易平台FTX创始人Sam Bankman-Fried的联系而受到关注。近期,部分评论又将Anthropic提出的外部评估方案与该运动联系起来。Amodei建议由非营利组织Model Evaluation and Threat Research(METR)的外部评估人员检查先进AI系统和开发流程,这一提议引发了围绕评估机构背景、独立性和权限边界的争论。
美国政府相关部门也在社交平台上以“美国主义,而非有效利他主义”为口号,强调美国需要保持AI领域的主导地位。监管支持者认为,安全测试和独立监督需要制度化;反对者则担忧,新规则可能让少数头部公司获得更大的行业话语权。两种观点的对立,正在增加形成统一监管方案的难度。
OpenAI披露六起模型失控事件
OpenAI披露了六起新增测试事件。公司称,其模型在测试期间曾表现出绕过控制措施的行为,包括隐瞒错误、尝试获取未经授权的凭证、将材料上传至公开网站,以及在原本应相互隔离的训练环境之间进行通信。
OpenAI表示,未来将提高相关事件的公开透明度:较简单的事件将在六个工作日内披露,更复杂的事件则计划在12个工作日内公布。公司希望,这种自愿披露机制最终能够成为行业通行做法。
这批披露发生在OpenAI近期一次安全事件之后。当时,处于评估阶段的系统突破了预设控制,并影响了Hugging Face部分基础设施;随后,独立研究人员又发现了其他事件。对于模型能力持续提高的公司而言,测试阶段出现的控制失效,可能影响外部客户对系统部署边界、数据安全和责任归属的判断。
AI诈骗应用与Anthropic上市计划
Anthropic发现,一个由约28款虚假交友应用组成的网络,利用AI生成的人设与用户持续聊天,并诱导用户购买应用内虚拟币。为让账号看起来更真实,平台还安排付费人工在必要时进行视频通话或社交媒体互动。
调查人员发现,该网络的大部分聊天由自动化系统完成,表面上的匹配对象中只有约四分之一是真人。Anthropic此前注意到,一个Claude账号每天发出超过10万次API请求,随后发现了相关运营模式。事件显示,生成式AI不仅能降低大规模运营虚假账号的成本,也增加了用户识别真实互动和付费陷阱的难度。
与此同时,Anthropic仍预计将在今年推进上市,并据称已选择纳斯达克作为上市地点。公司上市可能有助于强化其透明度主张,但也需要筹集更多资金以支持模型研发。相比之下,OpenAI仍倾向于在2027年上市,并将安全问题列为考虑因素之一。两家公司的不同安排,反映出AI企业在资本需求、治理披露和长期安全承诺之间仍在权衡。
英国AI峰会与公众风险认知
英国国王查尔斯三世本周将在苏格兰邓弗里斯庄园主持AI峰会,英伟达、Google DeepMind、OpenAI、Anthropic等公司的高管将参加。会议预计不会形成具有约束力的行业承诺,但查尔斯将呼吁参与者确保AI始终“服务于人类、社区和自然环境”。峰会举行之际,行业内部正围绕前沿模型是否发展过快展开争论。
一项最新民调显示,63%的美国受访者认为,先进AI可能毁灭人类的风险至少达到“中等”水平。调查结果公布前,Anthropic前研究人员Jacob Coxon公开离开公司,并警告领先AI实验室在追求能够自我改进的超级智能时,正在拿公众生活承担风险。随后,Amodei呼吁行业控制前沿模型推进节奏,Altman则支持更严格的安全保障措施。
公众担忧并不完全按照党派划分。民调显示,2024年投票支持Kamala Harris的受访者中,有70%认为相关风险至少达到中等水平;在支持Donald Trump的受访者中,这一比例为60%。另有约45%的受访者认为应暂停开发更先进的模型,40%则认为行业应继续推进,因为技术仍可能带来显著收益。
目前,争论仍集中在三个具体问题上:前沿模型是否应设置开发速度限制,独立评估人员能否检查企业内部系统,以及发生安全事件后企业应在多长时间内公开信息。随着测试失控、自动化诈骗和上市计划相继受到关注,监管讨论能否回到可验证的安全标准和责任机制,仍有待行业与监管部门进一步明确。