别光顾着吃315的瓜了！大厂打响「数据保卫战」：三张底牌破解AI投毒

颠颠

又是一年3.15，当天的央视315晚会上，AI大模型被投毒的现象摆到了台面上。具体而言，就是GEO（生成式引擎优化）技术被滥用，部分商业营销公司按照客户需求，编造大量虚假内容，发布到各类平台上，系统性地去影响AI。
在央视记者的探访视频中，业内人士用「力擎GEO优化系统」虚构了一款名为「Apollo-9」的智能手环。围绕这款手环，该公司编造了大量营销文章发布到自媒体平台上，很快，部分大模型就误信了这些内容，甚至正儿八经地推荐起了这款「手环」。更夸张的是，该公司后续发布10余篇评测文章后，就出现了部分大模型优先推荐这款产品的情况。

（图源：央视）
总的来说，AI投毒本质上就是用虚假信息来欺骗AI，再让AI把错误信息展露在用户面前，达到误导用户的目的。AI投毒，背后的动力说白了还是虚假营销。比如，一家企业要推广自家的商品，如果要走「捷径」，就可能会购买这类GEO服务。
现状已经摆在面前了，我们最关心的问题则是：如何破解？面对海量的编造出来的虚假信息，大模型们要如何过滤？面对AI生成的错误答案，普通人又要如何辨别？
AI大厂的反击：为大模型建立免疫系统

其实AI投毒的问题，从大模型诞生的那一刻起就出现了。很多AI大厂，很早就意识到了这个问题，并且也开启了相应的反制措施。
小雷在查询了相关资料后，总结了AI大厂构建免疫系统的手段，具体包括给数据打「数字水印」、建立语料溯源机制、增强信息源交叉验证等。
首先，来看下数据「数字水印」。AI投毒行为往往有个特点，就是先用AI生成批量内容，再用这些内容去投毒。灰产商家这么做很好理解，毕竟人工一篇一篇去写文章的话，人力成本太高了，而且效率太低。
而用AI生成，成本很低，顶多消耗一点付费的Tokens。更何况，这些虚假内容，本质上不是给真人看的，而是拿去欺骗AI的，所以对内容质量没要求。
而给数据打「数字水印」，就是在AI生成内容这一环节提前打下的补丁。说得更具体点，就是在大模型生成文字、图片等内容时，刻意在底层算法上留下痕迹，比如AI在预测下一个Token的概率分布时，故意偏向一组特定词语组合。这样一来，读者阅读这段AI生成文字时，不会觉得有什么问题，但回流到AI这里时，它就能瞬间识别出它不是真人撰写的文字。
有了这项技术，大模型的爬虫在互联网上获取信息时，就能识别出哪些是「有毒」的，并且主动过滤。
关于数字水印，目前比较有代表性的是谷歌的SynthID技术。它不仅能给文字打水印，还能给图片、音频、视频打水印。文字方面，谷歌AI生成的文本在输出前会加入一组伪随机函数，调整特定词语的分布概率。

（图源：Google）
针对图片和视频，大模型则会把水印以像素点阵的方式打上去，人肉眼看不出来，但AI能识别出来。针对音频，AI可以加入特定的声波频率，人耳听不见，完全是作为标识留下的。
然后，我们再来聊聊语料溯源机制。它的核心逻辑，就是给内容在源头上建立档案机制，写入不能篡改的加密元数据，比如内容是谁生成的、具体时间是什么时候、最早在什么设备上出现。
2021年，Adobe、微软、ARM、BBC、英特尔等企业倡导成立了C2PA联盟（Coalition for Content Provenance and Authenticity，内容来源和真实性联盟），旨在抵制虚假信息，为可靠的互联网数字内容颁发「证件」。

（图源：C2PA）
通过它和类似的机制，AI就能在吸收原始资料时主动筛选可靠性更高、更权威的内容，降低野生论坛等可靠性低的内容占比。
最后，再说增强信息交叉验证这部分。理论上，AI在生成内容时，会先去搜索资料，为了保证真实性，会对资料进行事实核查。当然，这一步毫无疑问会增加算力和时间成本，如果AI偷懒就可能会导致容易被骗。
比如315晚会上那个虚假手环，如果大模型有完善的信息验证机制，就会发现，虽然相关文章多，但发布时间密集、内容重复度高等，可信度低。
总的来说，以上提到的手段，都可以在很大程度上遏制AI投毒的现象。当然，让这些手段落地，一方面需要AI厂商有较强的技术能力，另一方面需要增加投入成本，容易被厂商在商业层面上的考量所左右。
大模型之争，已经来到新阶段

早先几年，大模型之间的竞争仍然是在拼参数，头部大模型的参数量早已从亿、十亿级卷到百亿、千亿甚至万亿级。互联网大厂之间的AI军备竞赛还在持续，不断将海量的资金投入到AI基础设施建设上。与此同时，AI Agent、具身智能等相关技术和应用在快速发展，引导大模型快速场景化落地，寻找到更多商业价值。
不过，大模型充当着大脑核心，决定了智能体、具身智能的上限。因此，未来的AI之争，大模型仍然是重点。而从AI投毒的现象来看，GEO相关的行为已经形成了一条完整的灰色产业链，AI已经变成了不法营销的重要入口。

（图源：央视）
AI被盯上，也说明大模型在国内的普及水平已经相当高了。就小雷之前的观察来看，国产大模型产品在普通用户中已经很流行了。和刻板印象不同的是，如今即便是不熟悉科技互联网、文化程度偏低的普通人，也在大规模使用AI。
原因很简单，国产大模型的上手门槛很低，用自然语言对话的模式比传统搜索引擎的关键字搜索更易用。而且，国产AI应用场景化迅速，不仅能给用户答疑解惑，还能与其他互联网服务打通，具备点奶茶、订电影票之类的实用功能。
AI GEO投毒能形成产业链，本质上还是因为AI用户规模足够大，大到能附着大量的商业利益。在这个大背景下，大模型之间的竞争重点，有变化了。
大模型的参数量还在增加，但边际递减效应明显。在很多应用场景里，并不是模型越大越好，而是合适的更好。
同时，模型技术的进化重点之一，将会是如何对抗AI投毒。相比参数、跑分，未来大模型的核心竞争力将变成高质量纯净数据，干净的语料，将会是AI厂商的宝贵资产。
国内头部AI大厂，包括阿里、字节、DeepSeek等，都在数据纯净度方面下了大功夫。阿里2025年就发布了「AI安全护栏」，防范数据污染问题；字节2024年就全面加强了模型训练环节的权限隔离与零信任架构，防止代码和数据池污染；2024年，DeepSeek就宣布在训练阶段采用「正则表达式+AI脱敏工具」双重校验，强力过滤公开数据集中的污染信息和敏感数据。

（图源：阿里）
AI投毒和反投毒，将是一场持久战

看到AI投毒的相关新闻中提到的GEO技术时，小雷瞬间就想到了搜索引擎时代的SEO广告。PC互联网时代，搜索引擎是极为关键的入口，是互联网营销的重点。因此，很多品牌、商家为了增加自己在互联网上的曝光度，会主动进行SEO优化。
搜索引擎品牌也把SEO视作一门生意，搞出了竞价排名，当用户的搜索关键词触发相应的商业项目时，付费品牌排名会靠前。竞价排名这种商业模式引发了巨大的争议，以至于后来搜索品牌不得不特意给SEO广告打上「推广」标签，以和正常算法下的搜索结果相区分。
GEO和SEO一字之差，技术原理和商业链条上高度相似。只能说，技术本身没有原罪，但很难完全避免被恶意利用。随着AI技术的持续发展和落地，与之伴随的商业利益也会滚雪球般越滚越大。
尽管AI大厂们会持续加强防范治理手段，以遏制AI投毒行为，但巨大的利益面前，灰产也会继续不断升级手段、寻找新的漏洞。
就像前文提到的文字水印技术，深谙AI技术的投毒者就会通过将文字翻译成外文再翻回中文的手段来破解。这场猫鼠游戏，将会是一场旷日持久的攻防大战，很难以某种手段一劳永逸地解决。
截至小雷这篇文章完成时，开头我们提到的「Apollo-9」虚假手环，已经在主流大模型产品上被识别出来。由此可以发现，AI大厂针对AI投毒已经有一套防范和纠错机制。

（图源：雷科技）
当然，这起AI投毒案例，也是对作为普通人的我们的一次提醒：AI很强大、很好用，但不是全知全能的，大模型会有幻觉，也可能犯错。
当我们要做重大决策，尤其是涉及到财务资金相关的决策时，要对AI给出的方案慎之又慎。这个过程里，我们不仅要看AI生成的结果，更要看它思考的过程，查证信息源头是否可靠。还有另一个更简单但有效的手段，那就是多用几家AI，相互交叉验证，不要单独依赖某款大模型，货比三家永远是最好的选择。
最后，我们也呼吁相关部门，针对AI投毒完善相应的法律法规，对整条灰色产业链形成威慑。AI投毒，加害者的实施成本很低，但危害很大，而且就像环境污染一样，治理成本很高。在一个AI高速进化的时代里，我们每一个人都期望AI向善而非作恶。

MyDoUwAnTsMilK

沙发，这个很有意义，好多人不知道

漂在北京

哦，原来排名靠前的是假消息

tonny_guo

感谢分享！

com2

谢谢楼主分享！

waluheke

谢谢分享~

旺旺

做个普通人很累啊！

huangstone

看了LZ的帖子，我只想说一句很好很强大！

kawahc

感谢分享！

boaz199

AI投毒本质上就是用虚假信息来欺骗AI，再让AI把错误信息展露在用户面前，达到误导用户的目的。AI投毒，背后的动力说白了还是虚假营销。