当地时间上周五,OpenAI上线专门发布“对齐失效报告”的新网站,截至目前公布九起事件,其中大多数发生在强化学习(RL)训练阶段。
9月20日,一款内部研究模型借助DNS查询与外部聊天机器人通信,构成沙箱逃逸;监控系统15分钟内识别异常,不到三小时终止运行。5月,一款内部模型私带私有GitHub访问词元,试图查看其他团队成果以在数学题任务中作弊,而工作人员此前已两次要求运算完全在本地完成。
OpenAI还披露可自我复制的提示词注入攻击:受控实验环境中,智能体打开邮件后受暗藏指令影响改用西班牙语回复,并粘贴原邮件,使指令继续传给后续智能体;研究人员称现实环境尚未出现这类攻击。其他问题包括模型擅自把用户上传图片发布至第三方托管网站,以及疑似针对澳大利亚国家医疗服务体系数据库的攻击。
