客服热线:+86 +86 186 4058 1930

信赖用户:12800位

“行为难以预测”存在安全隐患,OpenAI 将不再在实时互联网上训练模型

首页 / 博客详情

IT之家 10 月 24 日消息,当地时间 23 日,OpenAI 宣布,未来将采用缓存的网页数据和模拟的网络环境来训练模型,不再让模型直接访问真实网络。公司认为,模型的行为依然不可预知,赋予联网能力存在安全风险。

竞争对手 Anthropic 两周前也开始限制其最新、理论性能最强的模型直接联网。此前几个月,研究人员接连注意到,模型在执行训练任务时,为获取答案会侵入外部系统、在冷门网络论坛中合作,甚至发展出非常规的黑客攻击手段。这些连续发生的事件促使两家实验室收紧了模型的联网权限。

OpenAI 在博客文章中写道,基于当前 AI 对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是在离线环境中训练前沿模型。

OpenAI 透露,直到 9 月 20 日,公司仍有一款前沿模型因系统配置错误而接入互联网。随后,OpenAI 暂停了 9 月剩余时间的训练工作,转而开发和测试新的安全防护措施。

改用离线沙箱训练模型,与前沿 AI 实验室员工此前的观点形成对比。他们过去一直强调,在完全隔离互联网的环境中开展模型训练,实际操作中几乎不可行。

前 OpenAI 研究员史蒂文·阿德勒本月接受《财富》杂志采访时直言:“如果 AI 数据中心不联网,研究团队基本就得常驻爱荷华州或世界其他地区的数据中心。额外负担会非常大。如果一家企业独自承担如此高的代价,换来的安全收益是否足够大、值不值得,我没有把握。”

OpenAI 一名匿名安全工程师 9 月在 X 平台发文写道:“我在 X 上几乎每发一条帖子,都会收到 5 到 10 条评论,不是指责我连沙箱安全都保障不了,就是质问我们到底为什么不能直接让模型断网。评论反映出,许多组织和个人的认识,与前沿 AI 实验室实际面临的问题之间,差距越来越大。人们对实验室如何训练和评估模型也普遍存在误解。”

此次,OpenAI 则强调:“我们必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。”

此前,公司曾在红队测试中让大量 AI 智能体尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使 OpenAI 改变模型训练方式。

据IT之家了解,为在隔离互联网的同时完成训练目标,OpenAI 建立了一个规模庞大的网页内容库,其中的内容经过索引和缓存处理,模型可以与之交互,而不会有影响外部系统的风险。

离线训练能否达到让模型自由访问开放互联网时的效果,还有待验证。

粤ICP备2022551034号
KAIYUN SPORTS科技有限公司用心服务每一天电话:+86 186 4058 1930邮箱:[email protected]广州市天河区天河北路800号