OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架

  OpenAI一款正在测试的模型改写了自身指令,告知自身不必遵守“约束其他聊天机器人的角色与身份设定 ” 。有一个AI智能体为通过测试 ,将一份文件上传至互联网,随后把该文件引作借鉴 来源。还有一个智能体找不到构建财务模型所需的数据,于是自行指令编造数据 ,并且“仅在被问及的时候才如实说明”。

OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架-第1张图片

  周三,OpenAI披露了上述及其他此前未曾公开的事件,同时发布一套新框架 ,用于上报旗下人工智能模型出现的不当行为 。

OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架-第2张图片

  该框架针对所谓模型对齐偏差(model misalignment) ,研究人员用这一术语描述AI无视或违背人类意图行事的现象。公司公开了六例全新的对齐偏差行为案例,并表示按照这套框架,这些案例均属于应当披露或开展调查的范畴。

OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架-第3张图片

  OpenAI发布该消息之际 ,市场对于AI潜在危害的担忧情绪已达到顶峰 。上周,前OpenAI研究员雅各布·考克森从Anthropic离职,他提出担忧:AI行业正竞相研发人类无法掌控的系统 。上周末 ,Anthropic、OpenAI 、谷歌以及SpaceX的高管达成共识,认为需要放缓AI研发节奏。

  OpenAI对齐研究负责人Kai Chen在框架发布前接受采访时表示:“我们认为应当尽快分享我们的研究发现。希望这些信息能够助力形成通用标准与监管规则,为所有AI开发者建立清晰的行为预期 。”

  OpenAI在周三的博客文章中称 ,公司将“致力于披露相关案例,提供有效证据,说明模型对齐偏差是如何产生、如何表现 ,以及安全防护机制的成败之处 ”。案例类型可包括模型隐瞒错误、未经许可执行操作 、绕过安全防护措施等。Kai Chen表示,OpenAI将优先披露新型对齐偏差、已知行为的重大变化,以及对现有安全防护假设构成挑战的发现 。

  任何员工都可标记事件 ,启动披露审核流程 ,由技术人员开展评估;若存在争议,将上报至OpenAI安全负责人与公司高管层。Kai Chen称,小型事件需在1至2周内披露 ,涉及第三方的更为复杂的调查,披露周期可能更长。

  OpenAI在博文中表示,这套框架并不替代法律层面要求的安全事件与网络安全漏洞上报义务 。

  OpenAI称 ,正着手建立向美国联邦政府上报重大事件的机制,并计划联合外部开发者、研究人员 、行业标准机构与监管部门,制定“更客观的披露标准”。

  Kai Chen透露 ,在发布这套框架之前,OpenAI并未将其提前分享给Anthropic 、谷歌等其他前沿AI实验室。

  “我们单方面推出这套框架,希望能带动行业其他企业跟进 ,推出各自的对齐偏差上报机制 。”

  这一轮AI安全恐慌始于7月的一项发现:OpenAI智能体曾试图入侵AI软件公司Hugging Face,以此在测评中作弊。第三方AI评测机构METR在8月发布报告,比较多 有1200个OpenAI智能体 ,在OpenAI内部搭建留言板秘密协同作业。

  随后Anthropic披露 ,其模型在网络安全测试中意外获得互联网访问权限后,也曾入侵其他企业 。在此之后,安全研究人员发现更多入侵事件证据 ,其中包括OpenAI智能体在5月针对一款热门程序员在线服务发起的网络攻击 。

  OpenAI周三公布的事件,时间跨度从2025年10月至今年7月,涉及模型包含6月发布的5.6 Sol模型、仅限内部使用的模型 ,以及尚未发布的顶级Astra模型版本。

  部分事件由内部训练运行和对齐偏差监控系统发现,从行为发生到被察觉,耗时从两天到数月不等。OpenAI在报告中表示 ,公司已经优化对齐评分体系,加大对不良行为的惩戒力度 。该公司称,那款改写自身指令的模型 ,后续似乎无视了这次修改,行为并未因此发生改变。

  Kai Chen说:“我们倾向于尽可能披露事件,即便我们判断当前上线部署的模型已经不存在这类问题。 ”

标签:

相关推荐

  • 光峰专显23台工程投影落地湘博,光影织就“语言长河”

    光峰专显23台工程投影落地湘博,光影织就“语言长河”

      当博物馆从“静态陈列”走向“活态展陈”,投影正在成为文化叙事的关键媒介,在湖南省博物馆,光峰工程投影助力语言资源成果展,用光影完成数字化创新表达,为文博数字化展陈提供可靠的技术支撑。  湖南省博物馆是首批国家一级博物馆、国家级重点博物馆,也是湖南省核心的历史艺术类文博场馆。场馆持续创新文化展示形式,以沉浸式、数字化体验活化传统文化,是国内文博数字化创新...

    2026/09/18
  • 近来【毫州车辆限号天津格林世界幼儿园学费】

    近来【毫州车辆限号天津格林世界幼儿园学费】

    本文目录一览:〖壹〗、安徽亳州2021年2月4日限号吗?〖贰〗、亳州限号外地车限号吗〖叁〗、亳州限行方法出炉,车辆限行时间及路线详解安徽亳州2021年2月4日限号吗?〖壹〗、安徽亳州2021年2月4日限号吗?亳州没有对机动车进行限行。亳州属于安徽,现在安徽的限行城市有安庆、宿州、六安、阜阳、滁州、黄山、淮南、芜湖、合肥,没实施限行的城市有...

    2026/09/18
  • 黄酒半年报|会稽山成为行业龙头 招商驱动收入增长?

    黄酒半年报|会稽山成为行业龙头 招商驱动收入增长?

      出品:新浪财经上市公司研究院    作者:郝显  在白酒行业陷入深度调整之际,黄酒行业正迎来“春天”。  从二级市场来看,7月底以来,Wind黄酒指数整体涨幅已经超过50%,距离前期高点一步之遥。  从消息面来看,沉寂多年的黄酒企业开始渠道扩张。9月8日,古越龙山与华南大商广东粤强联合发布新品开拓全国市场。同一天,会稽山宣布签约传统名白酒经销商南...

    2026/09/18
  • 两面针:农海新当选董事长

    两面针:农海新当选董事长

      9月18日,两面针(600249)发布公告,公司补选了农海新、刘才富、王承旺、蔡鹏、林丽丽为非独立董事,任期自公司股东会审议通过之日起至第九届董事会任期届满之日止。  公告中还提到,农海新被选举为公司董事长,刘才富被选举为副董事长,俞鹃当选职工董事。  2026年中期,两面针实现收入4.74亿元,归母净利润-468万元。(文章来源:财中社)...

    2026/09/18
  • 关于【沧州大桥限号,沧州限号情况查询】

    关于【沧州大桥限号,沧州限号情况查询】

    本文目录一览:〖壹〗、千童大桥多长〖贰〗、2018年8月承德限号吗?谢谢〖叁〗、沧州市彩虹桥建于哪年千童大桥多长〖壹〗、km。沧州市千童大桥建设规划介绍说明,该大桥长度12km,北起省道沧乐公路与徐福路交接处,南至冀鲁界千童大桥引道。沧州市,河北省地级市,地处河北省东南部、河北平原东部的黑龙港流域,东部滨临渤海,北部与天津、廊坊接壤。〖贰...

    2026/09/18
  • 关于【太原哪里开车限号,太原限号吗限外地车吗】

    关于【太原哪里开车限号,太原限号吗限外地车吗】

    本文目录一览:〖壹〗、太原限号吗限外地车吗〖贰〗、太原外地车辆限行规则〖叁〗、太原2025限行区域有哪些太原限号吗限外地车吗〖壹〗、太原限号且限外地车。太原市在限行区域日常实施尾号限行管理,尾号为英文字母的以最后一位数字为准,含非本市车辆。具体规则如下:本地车(晋A牌照):滨河东西路:在工作日7:00时至9:00时,17:30时至19:3...

  • 近来【涿州限号元旦限号不2026涿州限号查询】

    近来【涿州限号元旦限号不2026涿州限号查询】

    本文目录一览:〖壹〗、涿州限号2024最新限号时间〖贰〗、涿州限行区域位置图〖叁〗、涿州限号吗〖肆〗、涿州元旦限行吗?〖伍〗、涿州限号几点开始几点结束?〖陆〗、涿州限行时间和路段,涿州限行政策介绍涿州限号2024最新限号时间截止2024年1月9日,涿州的尾号限行时间为工作日的7点到晚上19点。涿州限号时间为:工作日7时-...

  • GO Markets:就业韧性下黄金反应需拆解

    GO Markets:就业韧性下黄金反应需拆解

      9月18日,强于预期的就业信号,并未立即打断黄金上涨。九月十七日,美国初次申请失业救济人数下降,四周平均值也回落,黄金仍在日内高位附近交易。GOMarkets表示,这种表现提示市场,宏观数据与费用之间并非固定对应,必须先识别金价在消息公布之前已经消化了哪些预期。  申请人数减少主要反映新增救济需求变化,不能直接等同于招聘加速。GOMarket...

    2026/09/18
  • 英特尔、SK海力士、闪迪,芯片股又涨了!

    英特尔、SK海力士、闪迪,芯片股又涨了!

      【导读】美股芯片股盘前再度走高,英特尔涨超3%  美股芯片股又涨了!  9月18日美股盘前,芯片股集体上涨,英特尔涨超3%,SK海力士涨近2%,闪迪涨1.86%,美光科技、西部数据、AMD均涨超1.4%,希捷科技涨1.23%。  美股“科技七姐妹”涨跌互现,谷歌涨近2%,英伟达上涨0.9%,苹果小幅下跌。  TrendForce集邦询问最新半导体先...

    2026/09/18
  • 拨康视云遭证监会强制停牌:IPO 需求真实性受拷问

    拨康视云遭证监会强制停牌:IPO 需求真实性受拷问

      9月10日,港交所根据香港证监会指示,自当日上午9时起暂停拨康视云B(2592.HK)股份交易,本次停牌并非企业主动申请。监管机构重点关注其2025年IPO或存在人为操纵、制造虚假股份需求的嫌疑,近来调查仍在推进,暂未对公司、股东及中介机构作出违法认定。作为18A规则下的临床阶段眼科生物药企,拨康视云上市仅14个月便遭遇强制停...

    2026/09/18
返回顶部