如何识别AI生成图片？腾讯上线“鉴别工具”

xuye004

如果答错了，这篇文章可要仔细看了，一招教你：如何辨别出AI内容。科技Q&A第三期，我们请到了腾讯混元安全团队——朱雀实验室的科学家们，揭开【用AI打假AI】的秘密。

A


如果说2023年是“生成式人工智能元年”，那2024年毋庸置疑是“爆发年”，AI开始深度赋能千行百业，文生文、文生图、文生视频等领域应用成熟，随之而来的信任危机也同步爆发。


凭借AI强大的学习能力，它可以精准分析出受众的需要和喜好，再加上不断地“纠偏能力”，在被恶意利用的情况下能够更有针对性生产谣言。瑞士苏黎世大学的一项研究发现，当AI和人类都发布了虚假推文时，AI被识破的几率比人类低3%。也就是说，与人类相比，AI生成的文本往往更加结构化，更容易被接受。


与此同时，Diffusion Transformer等技术的进步也推动了图片等多模态内容生成的发展。 

A


虽然AI生成的图像在细节纹理上越来越逼真，但依然有迹可循，朱雀实验室研发了一款AI生成图片检测系统，将图片上传——等待验证——判断是否由AI生成，整个过程只有几秒钟，就能用魔法打败魔法——用AI“检测”AI生成。

https://matrix.tencent.com/ai-detect/ai_gen

究其背后的检测逻辑，主要是捕捉真实图片与AI生图之间的差异来进行区分。


 差异一：AI生图有时不符合常识逻辑 
AI生图有时会生成不符合常识逻辑的内容，例如，现实世界的小狗不会带有翅膀，那带着翅膀在空中飞的小狗就极有可能是AI生成的；猫咪不会抽烟，那叼着雪茄的猫咪就极有可能是AI生成的（如下图2）。

图2. 不符合事实逻辑的AI生成图片样例

 差异二：AI生成图片需要“加水印” 
大多数情况下，人工智能生成合成内容提供者有义务对相关生成合成内容添加显式或隐式标识。也就是我们俗称的“加水印”，这种标识可能是肉眼可见的，也有可能因为套了几层图之后并不明显，这时候就可以使用AI检测工具来读取。

图3. 带有“AI生成”标识生成图片及检出效果

 差异三：AI生成图片包含隐层特征 
除了肉眼可见的明显错误，以及显式的AI生成标识，一些AI生成的图片往往还包含一些肉眼不可见的特征。例如下图所示，左边AI生成的图片通过调整图片HSV后，会发现局部纹理出现一些密集分布的亮点，而真实的图片则不会呈现这些特征。

图4. 生成图片调整HSV色彩空间后出现的显著特征（图片来源于suanfamama数据集）

需要指出的是，鉴别AI生成往往不能依靠单一依据。因此，AI生成图片检测系统需要利用AI模型来捕捉真实图片与AI生图之间各类特征的差异，包括图片的纹理、语义及隐形特征。为了提升系统的检测效果，使用了140万份正负样本进行模型训练，考虑了多种生成内容场景，如人体、人像、风景、地标、植物、电影、游戏、新闻等，最终测试检出率达95%以上，还在持续优化提升中。

A


朱雀实验室还同步开发了文本检测系统，通过对AI生成文本和人类写作内容的海量数据学习来实现文本检测。

https://matrix.tencent.com/ai-detect

与图片内容检测一样，文本检测系统背后也搜集了大量正负样本进行训练，涵盖不同领域、不同大语言模型的生成文本。此外，还运用了对比的方式，将检测文本与大模型预测内容进行重叠度对比，来推断文章的AI生成概率，以增强对未见过数据的检测能力。


目前，AI生成文本检测系统涵盖了新闻通讯、公文、小说、散文等多样化文体，接下来还会对诗歌等体裁进行补强，用于提高文本识别的准确率。

A


朱雀实验室做AI检测工具，起初是为了优化混元大模型的训练语料。


而随着AI的爆发式增长，学界和业界关于【用AI检测AI生成】的需求也越来越多，朱雀实验室分别开发了AI生成图片检测、AI生成文本检测两款工具，目前可以对外提供体验服务，欢迎大家一起来测试，后续也将推出AI生成视频的检测工具，进一步完善检测能力。


不过，所有的技术都不是绝对完美的，检测和逃逸是个相互对抗发展的过程。期待未来的技术发展越来越成熟，AI生成的效果更好，对AI内容也有更成熟的识别和检测方式。

yzszh64

谢谢楼主分享。