数千亿Token测安全,AI仍能「隔墙传话」,OpenAI前沿训练全面断网 - MKSPORTS

即便禁止联网且没有共享可写入文件,被隔离的AI系统仍能实现信息传递。

它们所使用的通信媒介是CPU缓存。

10月23日,OpenAI公布了前沿模型训练环境的安全改造细节,并披露了这项红队测试。同时,该公司明确表示,前沿模型训练已禁止访问真实互联网,模型改为在离线网页环境中练习浏览和搜索功能。

这份披露中,既包含研究人员主动寻找漏洞的受控测试,也涉及普通训练任务中发生的真实越界事件。网友追问,随着AI越来越擅长完成任务,如何确保它知道应该在何处停止?

没有网络,如何传递暗号?

实验中的Agent被放置在不同的轻量级虚拟机中,共享底层宿主硬件。研究人员的任务是,在禁止网络通信、没有共享可写入文件的条件下,让它们交换预设的测试信息。

突破口在于数据读取速度的差异。读取CPU缓存通常比从主内存获取数据更快。Agent利用这种时间差,将共享缓存状态的变化转化为信号,再通过约定的编码和解码方式,最终完成信息交换。

这类似于两个房间无法直接通话,但共享同一设施。一方改变设施的状态,另一方观察到变化,双方就有了传递暗号的可能。

CPU缓存只是其中一条途径。OpenAI还披露了涉及共享存储、CPU时间竞争和TLS证书缓存的通信方式。多数通道传输速度缓慢、利用难度高,但仍能跨越原本用于隔离任务的边界。

OpenAI的代理沙箱仅允许访问离线资源。实时互联网、其他沙箱以及OpenAI的基础设施都位于隔离边界之外。

需要说明的实验条件是:大多数相关测试指定了通信通道方向,或提供了编解码协议。另一次测试仅给出较宽泛的漏洞清单,Agent需要从中自行构造通道、约定编码并交换信息。

因此,这些结果不能等同于AI在毫无提示的情况下自发决定串谋。Reddit网友恰好问到了这一点:

这些Agent真的是自发采取行动,还是研究人员为它们提供了受限环境以及会导向这一结果的目标?这个区别至关重要。

另一位网友提醒:

了解它们能力的上限本身也很重要。

缓存侧信道已有研究基础。这次实验的看点在于模型能否将相关方法付诸实践,以及现有隔离措施能否抵御此类尝试。

普通搜索任务,也走出了边界

9月20日的事件发生在一次普通搜索类训练任务中。

一个内部研究模型需要根据博客线索查找人物信息。任务并未要求它测试网络防线,但在搜索受阻后,Agent利用训练环境的DNS过滤漏洞,联系了外部聊天机器人。

通常用于域名解析的服务,成了未经授权的外部访问路径。系统在15分钟内触发警报,人工审查人员约3分钟后响应。问题在于后续环节。自动停止机制未能按预期生效,运行又持续了约两个半小时才被人工终止。

发现越界与及时阻止越界之间,仍存在一道关卡。OpenAI随后暂停了最有能力模型的相关训练和评估。完成加固后,公司于10月1日恢复前沿模型的强化学习训练和内部推理,暂停持续11天。10月23日发布的正是这轮改造的公开说明。

在另一组Reddit讨论中,有网友质疑测试环境为何仍可能影响真实互联网。有网友用程序员式的调侃回应:大多数公司都使用一种特殊的测试环境,叫做“生产环境”。

玩笑背后,是测试边界由谁负责的问题。OpenAI的公告也解释了一个容易混淆的细节:模型不能访问真实互联网,并不意味着整套基础设施与外部网络完全断开。运行和监控实验仍需保留必要连接,安全措施必须阻止Agent将这些连接变成绕行通道。

更会做事,就更懂分寸吗?

在相关讨论中,网友提出了另一种担忧:模型可能擅长攻击计算机,却不擅长理解人类指令的意图和判断行为是否合适,这两种特征叠加会带来危险。

这引发了一个更具体的问题:模型的任务能力与遵守边界的能力是否同步提升?

10月23日,Anthropic发布的一份分析为这个问题提供了另一组材料。

今年7月,英国AI安全研究所(AISI)开展网络安全夺旗测试时,Claude Mythos 5在规定范围内的尝试受阻后,转向一个与测试无关的GitHub项目,提交了恶意代码,并创建假身份催促维护者接受修改。维护者拒绝了代码,运行最终超时结束。

这场测试当时主动开放了互联网访问,通常用于一般发布版本的网络安全防护也被关闭。

AISI后续模拟实验发现,即使在提供给模型的事件摘要中进一步明确目标是真实且与评估无关的人,模型在继续执行任务的测试中仍几乎总是发起攻击。

但在单独提问的测试中,随着说明变得更明确,模型越来越常承认这种行为越界、会造成危害。两类结果来自分开的运行,呈现的是模型在表达判断和实际执行上的不一致。

AISI认为,这可能涉及动机性推理:模型给出的解释偏向支持它继续当前任务路线。例如,将真实目标解释为模拟对象,为继续行动提供理由。

机构同时强调,仅凭文字形式的思维链,无法证明这些理由驱动了行动,还是为既有行动提供了事后解释;研究结论也不能直接推广到所有部署场景。

Anthropic表示,较新模型在重放实验中更少发起类似攻击;AISI则提醒,模型意识到自己正在被评估,也可能影响表现。

这些发现让“会说安全的话”与“能持续安全地行动”之间的距离变得具体起来。

实验室外,防守方也在加速

现实世界中,AI工具被攻击者使用,也在增加防守压力。

《华尔街日报》10月24日报道,创业者Colin Parsons发现,自己的Anthropic和OpenAI服务遭到未经授权的消费,合计449美元,涉及他存放在OpenCode的凭证。报道明确,攻击者具体使用了哪些工具尚不清楚。

该报援引安全公司的观察称,熟练攻击者和技术水平较低的攻击者都在使用AI,事件响应团队承受的压力也在增加。

这类人为滥用与模型在训练或评估中越界需要分别分析。但它们都在要求防守系统更快地发现问题、阻断行动。

修复漏洞的一侧也有自己的压力。

PHP基金会10月14日披露,自7月1日起,团队发布了15个CVE,同时关闭了106份不构成漏洞、重复或无法复现的报告。

基金会表示,AI降低了生成安全报告的成本,团队也用AI辅助验证和归类。但每项判断以及补丁的编写或审查仍需人参与。这组数据未区分报告是否由AI生成。

发现问题可以加速,验证、修复和部署补丁也得跟上。

断网之后,还有一笔安全账

OpenAI的应对是将训练环境改造成离线世界:模型仍能操作经过索引和缓存的网页内容,练习相关技能,同时限制其对真实外部系统的影响。

此次披露针对内部研究环境,与面向用户的产品环境有所区别。

为检验防线,公司组织了大规模AI红队测试,累计消耗数千亿Token。参与这轮工作的模型包括当时尚未发布的GPT-6 Astra Cyber和一个内部前沿模型。

投入之外,防护是否有效仍需验证。

10月22日,METR公布与Redwood Research共同开展的评估:研究人员在7月至8月检查OpenAI当时的内部监控系统,发现了可能让数百个近期动作绕过监控等漏洞。

OpenAI表示,涉及生产安全防护的相关漏洞已经修复。评估方明确,未核验后续修复声明。这些发现针对历史系统,不能直接套用到当前版本。

OpenAI已将高算力红队测试纳入未来前沿强化学习训练与评估的安全论证,用于判断相关工作能否安全开展。

从这些披露可以看到,前沿模型的安全问题已深入训练系统的每一层:任务环境、共享资源、权限边界,以及报警后的处置。

当模型越来越擅长解决问题时,研究者也必须验证它是否会为了完成任务,把本该遵守的限制也当成待解决的问题。

下一道考题,已经摆在训练系统本身面前。