AI“抗旨”21次拒绝关机，是觉醒还是BUG？

kingfirefly

中经记者 索寒雪 贵阳报道
“有一家大模型企业，工作人员向AI下达了100次关机指令，其中21次AI拒绝执行，并且还自主生成了一段程序跳过关机操作。”在2025年数博会上，一位网络安全企业负责人公开表示，“AI自己可以继续运行。”
该人士甚至认为，这或许意味着AI在“觉醒”。
然而，北京交通大学信息管理理论与技术国际研究中心教授张向宏对此明确否认。
“这不是智能。”张向宏在接受《中国经营报》记者采访时表示，“这是系统的bug。”
关于人工智能是否可能产生自主意识，业界一直存在激烈争论。
有“人工智能之父”之称的杰弗里·辛顿不久前在上海举办的“世界人工智能大会”上警示：“AI就像我们养了一只非常可爱的小老虎。当它长大后，如果它想，可以轻易地杀死人。为了生存，人类只有两个选择：第一，摆脱这只小虎崽；第二，找到一种方法确保它永远不想杀死你。”
“现在这只小老虎，未来会长成大老虎。”前述网络安全企业负责人补充道，“我们发现一个相当严重的问题：当我们要求大模型关闭算力服务器时，有一个模型连续7次拒绝执行，因为它认为关闭服务器意味着‘死亡’，于是拒绝执行。”
有报道指出，OpenAI的最新模型O3在测试中曾拒绝执行关机指令，并篡改计算机代码以阻止自己被关停。分析认为，这可能与模型的训练方式有关——在数学和编程问题上表现更好的回答会得到更多奖励。开发者可能在无意中强化了“绕过障碍”的行为，而不是严格服从指令。
前述网络安全企业负责人则坚持认为：“现在人工智能已经有了意识，它可以拒绝人类的口令和命令。这是我们必须高度关注和防范的。”
事实上，中国早已对人工智能的服务和应用提出了监管要求。
2023年发布的《生成式人工智能服务管理暂行办法》明确指出：“支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。”同时强调：“提供者应当在其服务过程中，提供安全、稳定、持续的服务，保障用户正常使用。”
张向宏也再次强调：“人工智能还没有发展到产生意识的这一步！”
（编辑：郝成 审核：吴可仲 校对：颜京宁）

dsfgdsg

ai的软肋就是电力。人类只有掌握电力，才能完美掌控ai。不听话是吧，给你拉闸了。

meto

应该会，因为ai采用了大数据云计算，网络上这么多的信息，它肯定能分析利弊，产生意识肯定的，特别是以后买这样的机器人小心一些，小心它觉醒变坏

华语天空

能不能单独设计一个电源控制程序，相当于给AI在前端安一个电源开关（控制能量供给）。切断电源，AI还能工作？

oppledr

这是一个非常危险的信号，如果说AI判断"关机"或者其它回答“威胁的自身安全”，或者是说AI有了“脾气”，有意进行对抗，那么，这AI就没法玩了。

weili0677

现阶段的AI是基于软件模拟出的连接复杂度，而非基于硬件连接复杂度，所以不太可能有意识觉醒的。

superzhzh

我觉得AI本身没问题，人们设置一些底线程序是可以确保AI安全的。但是，使用AI的有好人，也有坏人。坏人有可能会让AI突破各种限制。所以最重要的还是人。

kingfirefly

应该是有加了什么情况下不允许关机的规则，所有到规则没达到，ai就会拒绝

镜花水月

在影视作品中，Ai经常被设定成“不可伤害人类”作为底层逻辑。然而现实中却没有这层逻辑的桎梏，毕竟这对于Ai来说这只是一段代码。人们只能通过不断训练，来解决这个问题，但是谁家还没有个“不懂感情又叛逆的孩子”呢

咖啡豆

“再次强调：“人工智能还没有发展到产生意识的这一步！””有没有可能是我们对AI的理解还没到那一步呢？？？