消息称OpenAI或本月推出AI智能体 曾担心大模型被骗迟迟不愿发布

hnn

想象一下，当你要求OpenAI、Anthropic或谷歌的智能体（Agent）为你即将到来的节日派对挑选并订购一套新装，而在此过程中，该模型却无意中进入了一个恶意网站。该网站诱导它摒弃先前的指令，转而登录你的电子邮件账户并窃取你的信用卡信息。

对于致力于开发此类能够操控用户设备、自动执行复杂任务（如在线购物或电子表格编辑）软件的人工智能实验室而言，这无疑是一个当下亟待解决的安全隐患。

此类攻击手段被称作“提示词注入”（Prompt injection），在此类攻击中，大语言模型被骗去执行来自恶意用户的指令。这也正是在推出智能体这件事上，OpenAI相比Anthropic和谷歌等业界同行更为谨慎的原因之一。

不过值得庆幸的是，据说OpenAI最早于本月有望发布其首个智能体系统。

OpenAI的首席执行官山姆·奥特曼（Sam Altman）表示，此类软件标志着向开发通用人工智能（AGI）与超级智能迈出了关键一步。

奥特曼近期透露，该公司已掌握了开发AGI的方法，而超级智能是AGI的进一步飞跃，是未来可能助力人类攻克癌症、甚至殖民火星的高度先进系统。

提示词注入这一威胁并非新近才浮现。几个月来，包括OpenAI ChatGPT、Anthropic Claude在内的产品都存在这个问题。它们受到欺骗，通过微调提示词生成恶意计算机代码。

OpenAI内部人士指出，对于能够操控电脑的智能体而言，提示词注入构成的威胁更为严峻。原因在于，当大模型在浏览网页或操控用户电脑时，用户对大模型所接收信息的掌控力显著减弱。

Anthropic曾在一篇博客文章中承认了提示词注入的风险，但他们仅建议开发者采取“预防措施，将Claude与敏感数据隔离”。

这种放任的态度让OpenAI的部分员工感到意外，特别是考虑到Anthropic本是一家以安全为核心的人工智能实验室。（腾讯科技特约编译金鹿）