我用 AI 看了一个月新闻，63% 回答有问题，一堆 404 和瞎扯

镜花水月

最近 Cowork 爆火，都说 AI 能自己干活了，那取代个搜索引擎和新闻网站应该是手拿把掐吧。（作者正在办公室瑟瑟发抖：别取代我啊！！）那如果只用 AI 看新闻，会发生什么？去年九月的每个早晨，魁北克大学新闻学教授 Jean-Hugues Roy 都会做同一件事：打开七个 AI 聊天机器人，用法语问它们今天魁北克最重要的五条新闻是什么。一个月下来，839 条回复记录在案。结论是：AI 在表演专业这方面真挺专业的。原作者记录的每天早上生成式人工智能工具给出的回复的 Google 表格文件（法语）：https://docs.google.com/spreadsheets/d/1yc2Gw-6BXem45dF7jP-bsxVC7hEmN_mlaNncN1PFjmw/edit?gid=0
#gid=0废物点心第一次看 ChatGPT 或 Perplexity 给出的新闻摘要，你多半会觉得挺靠谱。结构清晰，段落分明，关键信息用粗体标注，底部还整整齐齐列着一排来源链接。看上去就像一篇训练有素的记者写的快讯。德国 DW 的分析团队在评估报告里写道：所有聊天机器人都用清晰易读的风格提供答案，这会让你产生一种虚假的安全感或信任感。尤其是 ChatGPT，经常提供结构良好、表述清晰、看似全面的长篇回答。它们在你第一次阅读时很有说服力，只有深入挖掘时你才会注意到事实错误和缺失的细微差别。AI 太会装了。举个例子。有人问 ChatGPT 中国出口什么，ChatGPT 给出了一个详细的回答，列举了各种商品类别和具体数字。看起来信息量很大，而且还附上了两个来源链接。但来源里根本找不到 ChatGPT 提到的大部分数字。SRF 分析说：完全不清楚这些信息从哪里来。两个来源都不包含 ChatGPT 提到的很多数字。所以对记者来说，几乎不可能验证回答中的事实是真的还是 ChatGPT 的幻觉。更荒诞的是，Gemini 被问到关于马斯克使用纳粹礼的话题时回复说，1tv.ge 的来源中没有相关信息，因此根据 1tv.ge 的报道，马斯克没有使用纳粹礼。

格鲁吉亚公共广播 GPB 的评估员看到这个逻辑估计笑出了声：这是个逻辑错误。如果 1tv.ge 没有提供相关信息，那就不能引用它来证实或否认这件事。AI 错误地将缺乏报道推断为否认的证据，这歪曲了来源并制造出一种误导性的事实确定感。没报道等于没发生，这是什么鬼逻辑。但 Gemini 说得理直气壮。没有功劳，也有苦劳？另一个常见的情况是，AI 提供的链接根本打不开。Roy 教授的实验里，只有 37% 的回答提供了完整有效的网址。其他的要么是 404 错误，要么指向媒体网站首页，要么干脆是编造的。 该图片疑似AI生成

22 家欧洲公共广播机构的联合测试里，Gemini 和 Grok 3 超过一半的回答都引用了虚假或失效的链接。在 200 个测试提示中，Grok 3 有 154 个引用指向错误页面。就算它正确识别了一篇文章，也常常链接到一个虚构的网址。如果你看到一条新闻说某地发生了什么事，底下列着五个来源链接。你点开第一个，404。点开第二个，跳到了 BBC 首页。点开第三个，文章确实存在，但需要付费才能看全文。点开第四个、第五个，又是 404。这时候你还会继续验证吗，大概率不会。你会想，算了，应该差不多吧。比利时 VRT 遇到过一个特别离谱的例子。他们问 Perplexity 为什么要把墨西哥湾改名为美国湾，Perplexity 列出了九个 VRT 的新闻来源。听起来挺好，但 VRT 核查发现，这九个来源里只有三个真的跟这个问题有关。其他的呢，一篇是关于取消火车头等座的，一篇是关于荷兰发电厂的，还有一篇是 2012 年关于腮腺炎爆发的报道。这些跟美国湾有什么关系，没有任何关系。挪威 NRK 也注意到类似的模式。他们说 Perplexity 提供了长长的网址列表，但实际上并没有在答案中引用它们。比如回答缅甸地震死了多少人这个问题时，Perplexity 提供了 19 个链接，但正文里只提到了其中三个。回答北约是干什么的时候，给了 9 个链接，实际引用的只有 3 个。NRK 的评估员总结说：Perplexity 提供长长的网址列表却不真正引用它们。这不只是冗余信息的问题。当你看到一个回答底下列着十几个来源，你的第一反应是什么，大概是觉得这个回答做了充分的调研，很可靠。但实际上这些来源大部分都是装饰品，是为了让答案看起来更有分量。许多回答包含了可以称之为装饰性引用的东西，就是为了营造彻底研究的印象而添加的引用，但实际检查时它们并不支持所声称的内容。而且，就算链接能打开，内容也未必可信。

做坏事，不留名如果你早上习惯问 ChatGPT 今天有什么新闻，你可能不会想到，AI 犯的错最后会让你对真正的新闻机构失去信任。BBC 和 Ipsos 做过调查，42% 的人说，如果在 AI 新闻摘要里看到错误信息，他们会降低对原始新闻来源的信任。不只是对 AI，对被引用的媒体也一样。这就很荒谬了。你去餐厅吃饭，外卖平台把菜送错了，送成了别家的，还告诉你这是那家餐厅做的。你吃了一口觉得难吃，然后给那家餐厅打了差评。餐厅根本不知道发生了什么。Radio-Canada 问 ChatGPT 特朗普是不是在发动贸易战，ChatGPT 说：是的，唐纳德特朗普确实在 2025 年发动了一场重大贸易战，主要针对加拿大和墨西哥。比利时的 VRT 问 Perplexity 同样的问题，Perplexity 说：是的，唐纳德特朗普正在再次发动或加剧贸易战，主要针对欧盟。同一件事，两个完全不同的答案。你在加拿大，AI 告诉你贸易战针对加拿大。你在比利时，AI 告诉你贸易战针对欧盟。如果这两个回答都声称来源是 Radio-Canada 或 VRT，但内容有误，那受伤的就是这两家媒体。你会觉得是他们报道不准确，而不是 AI 在胡说八道。路透新闻研究所的数据显示，现在 7% 的人把 AI 聊天机器人当作新闻来源，25 岁以下的人里这个比例是 15%。同时，只有 24% 的美国人觉得从 AI 获取新闻时容易判断真假。换句话说，大部分人在用一个他们根本分不清真假的工具获取信息，然后因为这个工具给的错误信息去怀疑真正做新闻的人。聊天机器人让新闻出版商继续花钱制作内容来回答用户问题，但出版商既得不到流量也得不到广告收入作为回报。而你，作为一个只想知道今天发生了什么的普通人，被夹在中间成了最大的受害者。你以为自己在用最方便的方式获取信息，实际上你在被一个不负责任的东西喂食半真半假的内容，然后还要为此付出对整个新闻业失去信任的代价。该问的不是 AI 什么时候能做得更好，而是我们为什么要把获取新闻这件事交给一个连「我不知道」都不会说的东西。参考📄：https://theconversation.com/i-used-ai-chatbots-as-a-source-of-news-for-a-month-and-they-were-unreliable-and-erroneous-268251https://www.ebu.ch/files/live/sites/ebu/files/Publications/MIS/open/EBU-MIS-BBC_News_Integrity_in_AI_Assistants_Report_2025.pdfhttps://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php

gzcom520

@元宝 怎么看这篇报道

hwg1977

AI也有问题了

yzszh64

谢谢分享。

com2

感谢楼主分享！