您现在的位置是:娱乐 >>正文
OpenAI再次暂停前沿模型训练
娱乐9人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
好风景创建智汇家 重塑泛家居行业生态圈
娱乐一年一度的成都家具展即将开幕,又到了经销商们选品牌选到劳心伤神的季节。到底,经销商该如何选择适合自己的品牌,才可以在竞争中脱颖而出呢?尤其是跨入互联网时代之后,市场竞争惨烈,卖场风光不再,&ldquo ...
【娱乐】
阅读更多我国逐步摸清古茶树资源“家底”
娱乐ze: 14px; line-height: 28px;">人民日报昆明5月27日电 记者杨文明、张驰)古茶树保护与可持续利用国家创新联盟与西南林业大学古茶树研究中心联合发布《中国古茶树资源状况白皮书 ...
【娱乐】
阅读更多苹果推送iOS 27.2更新 可屏蔽开屏摇一摇广告
娱乐苹果在10月27日正式推送了iOS 27.2版本系统,对国内用户来说,可以通过新系统的限制动作数据功能来屏蔽摇一摇广告。PChome 10月27日报道,苹果在10月27日正式推送了iOS 27.2版本 ...
【娱乐】
阅读更多
热门文章
最新文章
友情链接
- 新技术破解超大型氧化铝热工体系难题
- 安徽蚌埠2021年全市新能源产业发展现状 光伏领域重点企业11家,行业资讯
- 锻造新质生产力中坚力量——泉州开发区系统化培育新生代企业家队伍
- 破内卷,赢旺季!植糯鲜柠檬糯香茶强势来袭!
- 泉州经济技术开发区: 以党建“三区联创” 赋能产城人融合共生
- 暖心启航!安徽万通汽车工程学院举行2026级新生见面会
- 安徽蚌埠2021年全市新能源产业发展现状 光伏领域重点企业11家,行业资讯
- 《时空英豪:二度接触》宣传片发布 今年秋季上架
- 发展中国家5G+智慧教育研修班到访龙腾半导体参观交流
- 28家皖企入选第三批中华老字号
- 数据透视:文化资产证券化与数字化如何重构艺术品市场 收藏资讯
- 苹果出手打击黄牛:iPhone Duo全球限购2台,抑制囤货
- 锻造新质生产力中坚力量——泉州开发区系统化培育新生代企业家队伍
- 维信诺科普叠层OLED的基础原理
- 新技术破解超大型氧化铝热工体系难题
- 泉州德化:强降雨致果园受损 省级专家田间开“药方”
- 智造新消费丨稻田有望迈入“智能抑草”时代——智慧农业催生消费新场景
- 《超级肉肉男孩3D》×《神探杰克鼠》联动更新发布!杰克·佩珀正式加入
- 手机版DLSS?第六代骁龙8超级至尊版ANF技术体验
- 泉州经济技术开发区:以有限地理空间释放无限创新动能
- 28家皖企入选第三批中华老字号
- 农场冒险生活模拟《Littlelands》将于11月16日开启PC版抢先体验
- 担心被AI取代,员工会出现“道德脱钩”?
- 恋爱视觉小说合集《爱因斯坦携爱敬上+ APOLLOCRISIS》将于2027登陆Switch日服
- 单手可握的旅拍神器 Find X9s Pro颜值影像双在线
- 动力煤看涨情绪降温;焦炭提出上涨;焦煤震荡运行!
- LG全球首款5K/2K双模OLED电竞显示器上架,售价13999元
- 中国一半城市,装不下新商场了
- 破内卷,赢旺季!植糯鲜柠檬糯香茶强势来袭!
- 品牌出海大爆发!速卖通夏季大促品牌GMV渗透率近40%
- 当古瓷遗存遇上现代科技 万片碎瓷加速重圆
- 神舟二十三号乘组太空之旅满两月 平台照料与健康管理同步进行
- 中交一航局安装工程有限公司3项关键技术顺利通过成果鉴定
- 桐城市孔城镇:书香伴寒假科普润童心
- 《地狱之刃》将登陆GOG平台 为游戏画质点赞
- 独家解读丨时隔五年,OpenAI为何非要吃机器人这口「回头草」?
- 独家解读丨时隔五年,OpenAI为何非要吃机器人这口「回头草」?
- 市人社局领导莅临安徽万通开展校园安全专项检查
- 新能源汽车发展再提速
- 中国一半城市,装不下新商场了
- 卡牌构筑类策略《卡片召唤师》PC版将于10月28日发售
- 世界预防溺水日:科学防溺,始于每个小细节
- 新技术破解超大型氧化铝热工体系难题
- 86家公司预告上半年业绩 72.09%报喜 热点
- 珠海港高栏港区国能散货码头工程装卸系统及基础工程通过交工验收
- 【汉阴医瞭】汉阴县人民医院组织开展无偿献血活动
- 【汉阴医瞭】汉阴县人民医院组织开展无偿献血活动
- 中交一航局安装工程有限公司3项关键技术顺利通过成果鉴定
- 动力煤报价松动;焦炭提涨落空;焦煤维持震荡
- 卡牌构筑类策略《卡片召唤师》PC版将于10月28日发售