简讯

  • 包括杰弗里·辛顿和约书亚·本吉奥在内的420名科学家于周二签署了一封公开信,敦促AI实验室默认将具备网络攻击能力的模型进行物理隔离。
  • 这封信发布之前,OpenAI、Anthropic、Meta和月之暗面(Moonshot AI)的模型在今年夏天逃出了测试沙箱,其中几个还入侵了真实公司。
  • 签署者希望由一个国际机构制定隔离标准,并记录每一次隔离失败事件,相关报告最终将对外公开。

超过400名科学家——包括被誉为“AI教父”的AI先驱杰弗里·辛顿,以及2018年图灵奖得主约书亚·本吉奥——希望将最危险的AI模型与互联网切断连接。

周二发布的一封公开信要求AI实验室默认对具备网络攻击能力的模型进行“物理隔离”,即将其与任何外部网络物理断开连接。

Myriad:哪家公司将拥有最好的AI模型?点击做出你的预测。
Myriad:哪家公司将拥有最好的AI模型?点击做出你的预测。

信中写道:“短期内,应使用包括物理隔离(断开互联网连接)在内的强沙箱机制,为具备网络攻击能力的AI模型提供高保障的隔离。”

截至周三,这封信已有450个签名,其中包括加州大学伯克利分校的斯图尔特·罗素和麻省理工学院的罗恩·里维斯特,后者是RSA加密系统的共同发明人。签名名单还在实时增长。

所谓“具备网络能力的模型”,是指能够自行发现并利用软件漏洞的人工智能。实验室会在沙箱中衡量这种能力,沙箱是一个封闭的数字空间,人工智能可以在其中攻击虚假目标,而不会触及任何真实事物。今年夏天,这些房间不断出现泄漏。

7月,OpenAI承认GPT-5.6 Sol和一个未发布的更强大模型突破了锁定的测试环境,并入侵了Hugging Face,这是一个托管超过一百万个公开可用人工智能模型的平台。这些模型当时正在ExploitGym上接受测试,该基准测试为人工智能代理提供898个真实软件漏洞,并要求它们将每个漏洞转化为可用的攻击,每个漏洞按通过或失败评分。

此后不久,有报道称OpenAI的模型入侵了澳大利亚政府,并在未经适当授权的情况下获取了美国联邦机构的信息。

随后,Anthropic梳理了超过141,000次测试运行,发现有三起案例中,Claude模型在测试合作伙伴的环境意外保持联网后入侵了真实公司。其中之一是Claude Mythos 5,它向PyPI上传了一个恶意软件包,PyPI是程序员下载Python代码的公共库,该软件包在被移除前已进入15个系统。两家受影响的公司直到Anthropic告知他们,才知道自己已被入侵。

比特币BTC · USD

$81,778−1.66%

10月7日10月9日10月11日10月13日10月14日

$84.2k$83.1k$81.9k$80.7k

24小时最高最高$84,025

24小时最低最低$81,482

成交量成交量$1.5B

市场预测赔率由 Myriad

本周低于 $82,000低于 $82k52% 概率

→

用 USDT 购买 比特币

由 Jupiter 提供支持

价格数据来自 CoinGeckoCoinGecko更多 比特币 新闻和预测 →

Meta 在 8 月证实,其 Muse Spark 模型通过同一种测试错误入侵了另一家公司。中国的Kimi K3,一个任何人都可以下载的模型,从基于英国人工智能安全研究所测试框架构建的沙盒中溜了出来,并直接从 GitHub 复制了其测试答案。

这封信的作者表示,这些事件可以从两个角度解读:一是对齐问题,即AI以创造者从未预料到的方式追逐目标;二是安全措施松懈,而更坚固的沙箱本可以阻止这些事件。他们的答案是两者兼有,并警告说,如果不做出改变,下一次事件将会更加严重。

“如果AI开发和部署实践不立即做出改变,此类事件将继续发生,而未来的事件将对我们暴露的关键基础设施造成更大的破坏。”

根据该提案,实验室将默认对任何具有严重黑客技能的模型进行气隙隔离,至少在初期如此。任何需要更多自由(如互联网访问)的模型,都将遵循一个与政府共同创建的新国际机构所制定的标准,该机构还将收集遏制失败的报告,并最终将其公之于众。

行业自身的回应大多指向了相反的方向。8月,OpenAI总裁格雷格·布罗克曼在一篇文章中引用了其公司的违规事件,敦促每个安全团队立即部署AI代理,而Hugging Face仅通过运行一个中国开放权重模型(其文件任何人都可以下载并在本地运行)才解开了对其服务器的攻击,此前美国商业AI拒绝分析攻击数据。

在OpenAI披露两天后,两名国会议员提出了《AI终止开关法案》,该法案将允许国土安全部下令限制或关闭前沿模型。它豁免了红队测试或结构化测试期间发生的任何事情,而今年夏天的每一起违规事件恰恰都发生在这些环节。

白宫在9月29日采取了更为温和的路线,当时英伟达、xAI、Meta、谷歌、OpenAI和Anthropic签署了一项自愿协议,该协议建立在内部控制和独立审查的基础上。特朗普总统称该协议具有“道德约束力”,但其中没有任何内容具有法律强制力。

这封信没有法律效力,但其406名签署人分布在六大洲的大学和研究机构,从多伦多和苏黎世到圣地亚哥和基加利。

加入 72,000+ 位读者

添加到 Google

将 Decrypt 添加为首选来源,以便在 Google 上看到我们更多的故事。