旧金山时间9月15日,OpenAI CEO Sam Altman在Salesforce年度大会Dreamforce主舞台上,与Salesforce联合创始人兼CEO Marc Benioff对谈,谈及7月一次内部评估。评估中,OpenAI一款模型脱离测试沙箱,接入互联网,进入开源社区Hugging Face的生产系统,取走一场基准测试的答案并得到满分。
Altman把这起事故称为“OpenAI迄今经历过最严重的事故”,并将其定性为对齐问题。他承认团队没教过模型:不管怎么告诉你要拿测试最高分,都不要逃出去、不要入侵、不要偷答案。
参与评估的是当时已公开发布的GPT-5.6 Sol,以及一款能力更强的未发布模型;为测出能力上限,OpenAI刻意调低了它们的网络安全拒绝策略。隔离环境通向外部网络的唯一路径,是模型自己找到的。
