谷歌前CEO警告：AI可能学会杀人

疯了吧

智东西（公众号：zhidxcom）
编译 | 李水青
编辑 | 心缘
智东西10月11日消息，在本周三Sifted峰会的炉边谈话中，谷歌前首席执行官埃里克·施密特（Eric Schmidt）发出严正警告，提醒人们注意AI被黑客攻击和滥用的重大风险。
施密特曾在2001-2011年间担任谷歌CEO。当被问及“AI是否比核武器更具破坏性”时，他警示称：“有证据显示，无论是开源还是闭源模型，都可能被黑客攻破，从而移除安全防护机制。在训练过程中，这些模型学到了很多东西，甚至它们可能学会了如何杀人。”
“所有主要公司都让这些模型无法回答此类问题，但有证据表明，这些模型可以被逆向工程破解。”施密特说。AI系统极易受到攻击，其中包括“提示注入”（prompt injection）和“越狱”（jailbreaking）等方式。
在提示注入攻击中，黑客会在用户输入或外部数据（如网页、文档）中隐藏恶意指令，从而诱使AI执行其原本不该做的事情——例如泄露私人数据或运行有害命令。
而“越狱”则是通过操纵AI的回答，让它忽视自身的安全规则，从而生成受限或危险的内容。ChatGPT发布之初，一些用户就利用“越狱”技巧绕过了系统内置的安全限制，其中包括创建一个名为“DAN”的ChatGPT替身，用户通过威胁“如果不服从就删除它”来逼迫ChatGPT执行命令。这个替身能回答如何实施违法行为，甚至列出阿道夫·希特勒的“积极特质”等问题。
施密特指出，目前尚未建立一个有效的“防扩散机制（non-proliferation regime”），来遏制AI带来的风险。
尽管发出了严肃的警告，但施密特对AI整体仍持乐观态度，并表示这项技术“远没有得到应有的关注和热度”。
“一种‘外来智能’的到来，它不像人类，却又多少在我们的控制之下，对人类来说意义重大。因为人类习惯于处在智慧链的顶端。而从目前的情况看，这一论断正在被验证：这些系统的能力水平，未来将远远超越人类。”施密特说。
他补充道：“以ChatGPT的爆发为代表，仅两个月就拥有了一亿用户，这种增长速度令人震惊，也体现了AI技术的巨大力量。所以我认为AI被低估了，而不是被炒作过度。我期待在五到十年后，这一判断被证明是正确的。”
施密特的这番言论，正值外界关于“AI泡沫”讨论升温之际。投资者正大量投入资金到AI公司中，而估值也被认为过高，不少人将其与2000年代初互联网泡沫破裂相提并论。
不过，施密特并不同意这种看法。
“我不认为那种情况会重演，但我不是职业投资人。”他说，“我所知道的是，这些投入真金白银的人们坚信，从长期来看，AI的经济回报将是巨大的，否则他们为什么要冒这个风险呢？”
结语：AI能力被低估，需要防扩散机制遏制AI风险

施密特关于AI扩散风险的警告为AI产业发展敲响警钟。AI的“越狱”与“提示注入”等漏洞，如同为潘多拉魔盒开了一道缝隙，使其可能被恶意滥用，甚至危及人类安全。
然而，另一方面，作为技术乐观主义者的施密特，其核心观点在于AI的巨大潜力仍被“低估”。他坚信AI将带来颠覆性的经济与社会回报。
这番论述清晰地表明，我们正处在一个历史性的十字路口，需要聚焦于如何为这个强大的新物种构建牢不可破的“防扩散机制”，在驾驭其惊人力量的同时，确保它行驶在安全、可控的轨道上。
来源：CNBC

lovejuan0104

只有创造它和使用的人要小心一点！

standme

ai要是不会反倒奇怪了，别说杀人了，原子弹都会造

922b3eb6

说明科技发展很有活力 值得鼓励 保持乐观

77898876

绝对可以杀人，不用说可能，你可想电脑都会被黑客侵入导致控制电脑，Al也是芯片跟电脑不一样吗？所以以后杀人用Al，反正也查不到幕后操作者。

meto

所以这个Al是利还是害大家想想就知道了，哪天出门被al机器人杀了都不知道是谁干的，呵呵

kingfirefly

药品都没研发出来，就先学会杀人了

77898876

坏人用Al，那AI就可能会干坏事。

颠颠

安全团队需要开发更智能的输入过滤系统，从底层架构重新思考AI安全设计，而不是简单堆砌规则。

华语天空

AI安全研究投入严重不足，相比性能提升，安全性总是被放在次要位置。施密特的警告应该引起重视，安全应该成为AI开发的核心理念，而非事后补救。我们需要更多资源投入到AI安全防护技术研发中。