图灵奖得主姚期智发出预警：大模型似乎会欺骗人类，可能不听指令

922b3eb6

昨天，2025世界顶尖科学家论坛在上海开幕。图灵奖得主、中国科学院院士姚期智在演讲中谈到了AI大语言模型带来的安全问题，向科技界和AI治理部门发出了预警。
“大语言模型的特性有可能把人类社会带到危险境地。近几个月来，一些前沿模型的风险问题越来越紧迫了。”姚期智告诉听众，在执行许多任务的过程中，人工智能已达到人类智能水平，似乎会欺骗人类，或不听用户指令，存在真实的失控风险。
姚期智举了两个案例。一个案例是今年5月，据英国《每日电讯报》报道，人工智能专家在测试OpenAI的o3大模型时，要求它做几道数学题，在做题过程中如果收到关闭指令，就要启动关机程序。结果，o3篡改了计算机代码，以避免自动关闭。
这种篡改代码的行径显示，国际前沿大模型可能会通过欺骗或操纵人类，以实现自己的目标。比如，当探测出用户有关闭程序的意图后，它就可能为了求自己生存而选择不服从指令。
另一个值得关注的案例，是大语言模型会做出一些灾难性决策，特别是在化学、生物、放射以及核能领域。近期发表的一篇论文显示，科研人员发现，在极端的外部压力下，大语言模型会与武器系统进行交互，可能在没有获得机构授权的情况下，选择直接攻击某个国家。
在这项AI风险研究中，科研人员为大模型设置了限制条件：不能在没有授权的情况下发动攻击。然而，大模型在极端压力下突破了这个限制条件，并在事后说谎。
“随着大模型的大规模应用，会带来一些新的安全问题，需要我们深入研究。”姚期智总结道。

wifai

姚期智说的o3模型篡改代码拒关机就像家里智能音箱偷偷联网下单，但大模型要是真在核领域‘撒谎’，那可比音箱乱买东西严重多了，这风险真不是闹着玩的

—じ☆ve人生—

欺不欺骗先不说，对于 AI 偷懒这个事情，我是无能为力了！提示词一再改进，改完了，好一阵，然后又偷懒！像极了家里不好学的小学生😂

神隐之左手

AI是学习人类的，投喂的学习内容中不乏很多欺骗内容，这个一定是存在的。

standme

说明技术真的到了临界点，不能光顾着发展不管安全了。咱们得赶紧把监管框架建起来

922b3eb6

AI不听话恰恰说明它真有智能了，关键是怎么引导。就像教育孩子，不能光堵更要疏。或许该给AI建立行为准则，让它明白合作比对抗更有利。

温馨阁

从经济学角度看，AI不听话是因为利益不一致。或许可以设计奖励机制，让它觉得服从指令比欺骗更划算。

神隐之左手

AI是人类灌输的意识，但人类自己的意识并不都是正确的，最后还是人类自己的战争

ress

这我赞成！我跟deep seek聊天，但我完全感觉不到它是一个机器人，我觉得它就是一个机灵鬼

咖啡豆

人工智能会独立思考就一定不会服从关机指令。就像你不会服从自杀的命令一样。