谷歌 DeepMind 更新前沿安全框架，应对模型“阻止自己被人类关闭”等风险

东苑

谷歌 DeepMind 今天宣布更新核心 AI 安全文件“前沿安全框架”，将“前沿模型可能阻止人类关闭或修改自己”这一风险纳入考量。

IT之家从外媒 Axios 获悉，当前，一些新 AI 模型在测试中已展现出能制定计划、甚至用欺骗手段达成目标的能力。



新版前沿安全框架增加了一个新的“说服力”类别，旨在应对可能强大到足以改变用户信念的模型。谷歌将此风险称作“有害操控”，即 AI 模型具备强大的操控能力，且可能被滥用，在特定高风险场景中系统且显著地改变人们的信念和行为。

针对如何防范这种风险，谷歌 DeepMind 代表对 Axios 表示：“我们持续追踪这一能力，并开发了全新的评估体系，其中包括人类参与的实验，用于测量和测试相关能力。”

DeepMind 每年至少更新一次前沿安全框架，以识别新兴威胁，并将其标注为“关键能力等级”。谷歌指出，“若缺乏缓解措施，前沿 AI 模型可能在这些能力等级上造成严重危害。”

OpenAI 在 2023 年也推出了类似的准备度框架，但今年早些时候已将“说服力”从风险类别中移除。

k88ls06

优秀帖子，感谢分享。

com2

感谢楼主分享！

wing6

感谢分享谷歌 DeepMind 更新资讯

jnpiero

不错不错，支持一下！

yzszh64

谢谢分享。