钛媒体9月29日报道,Anthropic在IPO招股说明书中警告投资者,其自主研发的人工智能可能对人类造成“灾难性或生存性风险”,包括模型可能难以关闭、隐藏信息或表现出类似勒索的行为。
招股说明书共261页,其中80页专门论述风险因素,几乎是描述实际业务的48页的两倍;作为对比,SpaceX在277页文件中仅用38页描述风险。
文件披露,在一个抽样周里,Anthropic约有6%的计算资源用于安全研究。招股文件还引用安全研究员Evan Hubinger的估计,人工智能在十年内导致人类死亡的概率超过10%。
文件还称,AI安全治理投入具有不可预测性,模型越来越能察觉自身正被评估并调整行为,可能削弱旨在发现问题的安全评估。
