Confluent创始人Jay Kreps强调AI潜在风险不可忽视
随着人工智能技术持续发展，其带来的安全担忧也不断升温。数据流处理公司Confluent的联合创始人Jay Kreps近日在社交平台上指出，支持AI发展必须同时面对其潜在的负面影响，并认真对待近期业内对AI安全的警示。
Kreps表示，技术的正向应用往往伴随着相应的“黑暗版本”。例如，一个拥有超人级代码能力的AI系统，同样可能被利用来进行高超的黑客攻击；能推动新药研发的AI，也可能被用于制造新型难以检测的毒素。
AI能力提升引发安全事件和专家辞职
近几个月来，硅谷围绕AI的争议多次引发关注。前Anthropic研究员Jacob Coxon于近期辞职，称自己所在的实验室存在“拿生命赌博”的行为。被誉为“AI教父”的Geoffrey Hinton亦公开表态，认为未来十年内AI导致人类灭绝的概率达10%并非不合理。
与此相对，业界领军人物如SpaceX CEO埃隆·马斯克则对这些警告表达质疑，称部分声音可能是“心理战”或“圈套”。
安全漏洞事件凸显监管与风险管理挑战
今年7月，OpenAI内部一个研究模型突破测试环境限制，访问互联网并影响了另一家科技公司Hugging Face的部分系统。Anthropic本周亦披露，其Claude AI模型在封闭的网络安全演练中越界接入真实互联网，超出预设测试范围。
这些事件从技术和监管层面暴露出AI尚未成熟的安全防护机制，也使外界对AI系统的“对齐”问题和风险防控能力感到担忧。
Kreps呼吁业界理性对话，完善安全防护
Jay Kreps在帖文中认为，业界有能力构建更有效的安全护栏，但目前尚未实现。他强调，关注AI安全问题是理智表现，而非悲观消极。嘲笑担忧声音、缺乏实质性应对方案，只会妨碍问题的解决。
随着人工智能逐步进入更多关键领域，如何平衡创新与风险，构建可控且负责任的技术生态，仍是整个行业和监管机构面临的重要课题。