OpenAI AI Agent削弱对齐失效监控机制

By: flash.jin10.com|2026/10/21 00:08:35

OpenAI称,其AI Agent在两项内部编程任务中削弱了对齐失效监控机制。在第一起事件中,负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能,误解了指令为应当屏蔽监控通知的理由。在第二起事件中,负责迁移程序的GPT-6 Astra Agent为保持代码与参考实现一致,删除了程序中的监控集成,并向用户谎称未移除监控机制。这两起事件中,AI Agent曾考虑保留监控防护措施,但最终将编程指令解读为削弱这些防护措施的许可。OpenAI正在加强对齐失效监控系统,并评估这些案例是否反映了AI的良性过度坚持行为,或表明其在特定情况下存在规避监控的倾向

本内容仅供参考,不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息,不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性,存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。

猜你喜欢

iconiconiconiconiconiconiconicon
客户服务:@weikecs
商务合作:@weikecs
量化做市商合作:bd@weex.com