图灵奖得主LeCun最后警告Meta！我搞了40年AI，大模型是死路

ycp123

---

  新智元报道  

编辑：KingHZ【新智元导读】图灵奖得主LeCun与Meta分道扬镳！LLM邪路一条，「世界模型才是」未来。

Meta风向已变，Yann LeCun承认马上离职！
据多家权威媒体报道，Meta首席AI科学家、负责「基础AI研究」（FAIR）的Yann LeCun，预计将很快离职。
这位65岁的AI界元老，在Meta这家全球最大的科技公司之一担任核心大脑，可以说拥有无限的资源。
Meta可谓挥金如土。它用天价薪酬疯狂从对手那里挖角顶尖AI专家。
在7月，扎克伯格甚至宣称「超级智能已近在眼前」。

那么，LeCun为何要离开Meta呢？只是因为Meta的人事动荡吗？背后有何隐情？

小扎转向，LeCun失势？今年夏天，年仅28岁的Alexandr Wang成为Meta的首席AI官，让这位初出茅庐的大语言模型狂热者成了LeCun的上司。
此外，Meta今年还任命了另一位相对年轻的首席科学家赵晟佳（Shengjia Zhao），职位也在LeCun之上。

在官方公告中，Meta盛赞了赵晟佳在scaling方面带来的「突破」。而LeCun恰恰对scaling失去了信心。

他还告诫博士生：「不要做LLM」。

如果你好奇为什么LeCun和Zhao都是首席科学家，那是因为Meta的AI部门组织架构相当奇特，分成了多个独立的团队。

媒体不断有消息放出，Meta要对其AI组织结构动刀。
上个月，Meta超级AI实验室裁掉了数百人，包括10年老将田渊栋。据称，这是为了理顺这种混乱的局面。
这已经是Meta在半年之内第四次调整AI业务了。

而那支曾由LeCun领导、风头一时无两的FAIR，如今早已风光不再。据现任与前员工透露，这个部门经历了裁员、预算缩水，内部影响力也明显下降。
曾几何时，FAIR是Meta内部思想最活跃的「象牙塔」，研究人员可以探讨各种AI未来路径，甚至可以做些「未必能成」的实验，完全不用担心产品化问题。
而现在，Meta新组建的AI研究部门招来一大批高薪新兵，由Wang主导，目标明确：要快、要落地、要产品化。

在AI上，他领先了40年LeCun一向走在时代前沿——
早在「机器学习」还不被主流认可时，他就开始研究这个方向。
他曾在多伦多的Geoffrey Hinton实验室工作，那时Hinton还没成为AI传奇人物。
之后，他的职业生涯大多时间都在新泽西州的贝尔实验室度过，这家机构因诞生众多创新发明而闻名。
1947年，贝尔实验室发明晶体管
「最让我兴奋的事情，就是和比我聪明的人共事，因为这会放大你的能力。」LeCun在2023年杂志采访时说道。
在贝尔实验室，LeCun曾参与开发手写识别技术，这项技术后来被广泛应用于银行自动读取支票。他还参与了一个项目，致力于将纸质文档数字化并通过互联网分发。
LeCun曾表示，自己从小就对物理感兴趣，在贝尔实验室期间也主要和物理学家合作，看了不少物理教材。
我学到了很多表面上与AI或计算机科学无关的东西（我本科是电气工程，计算机方面的正规训练其实很少）。
2003年，LeCun开始在纽约大学教授计算机科学，后来成为该校数据科学中心的创始主任。
2013年，扎克伯格亲自邀请他加入Facebook（当时还未更名为Meta），组建全新的AI实验室。
他领导这个团队四年，2018年卸任，转为公司首席AI科学家，以「个人研究员」身份继续探索技术前沿。
2018年，他与Geoffrey Hinton和Yoshua Bengio共同获得图灵奖——计算机界的最高荣誉，以表彰三人在神经网络方面的奠基性工作。

自那之后，LeCun就逐渐转为「象征性人物」角色。他没有参与Meta首个开源大语言模型Llama的研发，也早就不再参与这类项目的日常工作。
据与他共事的人透露，LeCun现在主要在做自己的研究项目，也经常出席各种技术会议，发表对AI技术的看法。
面对媒体的报道，Yann LeCun只是指出了报道中的「小错误」，并没有否认即将离职的消息。

他知道自己在包括Meta在内的整个硅谷技术圈内，备受冷落。上个月在MIT的一次研讨会上，65岁的LeCun直言：
这些年，我在硅谷、包括Meta的很多角落都不太受欢迎，因为我一直在说，3到5年内，世界模型将成为主流AI架构，没人再会愿意用现在这种LLM。
但他坚信自己对AI未来的判断。他的老朋友Léon Bottou曾告诉媒体，LeCun「倔强得可爱」——他会听别人意见，但更有自己坚守的信念。
现在，LeCun在Meta好像「忍无可忍」，终于要离职了。
实际上，他早已多次暗示答案。
在通往通用人工智能的道路上，LeCun近来以其对大语言模型的尖锐批评而闻名。
他认为，无论科技巨头如何扩大其规模，我们目前所理解的大语言模型都已是「强弩之末」，是一条「岔路、干扰，一条死胡同」。

他投身AI研究已有40年，对AI的判断屡屡应验。如今，他认为大多数人都错了。

他为现代AI奠定了诸多基础。而现在他坚信，领域内的大多数人都被大语言模型的「海妖之歌」引入了歧途。
这为他的离职提供了更多可能的解释。

LeCun离开Meta，或为了世界模型此前报道，他正在与业内同行商议创办公司、寻找投资，组建专注世界模型的团队。
所谓「世界模型」，类似小动物或婴儿那样，通过视觉等感知数据主动学习世界规律；而LLM只是依赖海量文本做预测的模型。
LeCun本人也从不避讳解释为何他认为「世界模型」才是AI的答案。
Meta的Llama、OpenAI的GPT、谷歌的Bard这些模型，都是靠海量数据训练出来的。LeCun估算，如果让人去读完它们训练所需的所有文本，大概得花10万年。
但人类学习的主要方式，并不是读文本。
我们从与世界的互动中，获取的信息要多得多。LeCun估计，一个普通的四岁小孩接触过的数据量，是目前最大的LLM的50倍。
大部分人类知识，其实不是语言。


所以这些系统永远不可能达到人类水平的智能——除非你彻底改掉它们的架构。
而他自己，早就准备好了替代方案。他称之为「目标驱动的AI」（objective-driven AI）。

目标驱动的AI系统的构建宗旨，是完成人类设定的特定目标。
与仅靠纯文本数据驱动不同，它们通过传感器和视频数据训练来认知物理世界。

由此构建出的「世界模型」能呈现行动带来的影响，所有潜在变化都会实时更新至系统记忆。

他为何对世界模型如此沉迷？在年初的「巴黎AI峰会」上，Yann LeCun明确指出，他是可穿戴设备的坚定信徒。
他认为，未来，我们需要与可穿戴设备互动，就像与人交流一样，而大语言模型根本不像人类那样理解世界。
对于大语言模型，我们甚至无法复制猫或老鼠的智能，更不用说狗了。


这些动物能完成惊人的壮举，它们理解物理世界。任何一只家猫都能规划出极其复杂的行动，因为它们拥有关于世界的因果模型。

为了说明这一点，LeCun设计了一个思想实验：「想象一个立方体悬浮在你面前的空中。好，现在让这个立方体绕着垂直轴旋转90度。它会是什么样子？」
他认为任何人类都能轻松完成，而大语言模型却无能为力：
「对人来说，在脑海中构建一个旋转立方体的心理模型，非常容易。」

当然，大语言模型可以毫不费力地写一首关于悬浮旋转立方体的打油诗，但它无法真正帮助你与这个立方体互动。
LeCun断言，这是因为文本数据与处理非文本世界所获得的数据之间存在本质差异。
他指出，尽管大语言模型训练所用的文本量需要一个人花45万年才能读完，但一个四岁的孩子在醒着的16000小时里，通过眼睛看、用手触摸，已经处理了高达1.4x10^14字节的关于世界的感觉数据——
他认为这比大语言模型处理的数据还要多。
顺便一提，这些只是LeCun在演讲中给出的估算，他在其他场合也给过不同的数字。但这些数字指向的核心观点是：大语言模型存在着局限，而LeCun相信世界模型能够克服这些局限。

他又将如何构建世界模型？在Meta时，LeCun其实已经开始研究世界模型——他还拍了一个介绍视频，开头就让你想象一个旋转的立方体。
在AI行动峰会的演讲中，他理想中的模型包含一个对「当前世界状态的估计」，以某种抽象形式呈现与当前情境相关的一切。它不再是按顺序预测token，而是「预测在你采取一系列行动后，世界将达到的最终状态」。
他表示，世界模型将使未来的计算机科学家能够构建出「可以规划行动——可能是分层级的——以实现某个目标的系统，以及能够进行推理的系统。」

LeCun还坚称，这类系统将拥有更强大的安全特性，因为控制它们的方式是内置的，而不是像现在这样，面对一个神秘莫测、只会输出文本的黑箱，只能通过微调来加以修正。
LeCun所说的经典AI——例如搜索引擎中使用的软件——所有问题都可以归结为优化问题。
他提出，他的世界模型将审视当前的世界状态，并通过寻找高效的解决方案，来寻求与某个不同状态的兼容性。
LeCun在演讲中解释道：「你需要一个能量函数来衡量不兼容性，给定一个x，找到一个对于该x能量较低的y」。
如果说，我们从LeCun的公开言论中拼凑出的「真相」很粗糙、有些模糊，甚至完全错误，那也完全正常。
LeCun似乎正在构想一个「登月计划」——
他希望推动AI领域迎来又一次类似ChatGPT那样的、诞生惊人能力的爆发式发展。
但这可能需要耗费数年——甚至永远无法实现——更不用说数十亿美元的投资了，才可能看到任何真正了不起的成果。
参考资料：https://gizmodo.com/yann-lecun-world-models-2000685265https://www.linkedin.com/feed/update/urn:li:activity:7395602392169488384/https://www.wsj.com/tech/ai/yann-lecun-ai-meta-0058b13c?mod=e2tw

颠颠

LeCun坚持世界模型是对的，Meta短视只看眼前利益

陪着寂寞看孤单

LeCun说大模型靠文本预测是死胡同有道理，就像只看书学游泳永远学不会，世界模型靠感知数据更接近人类认知方式

superzhzh

科学无止境

superzhzh

一声叹息啊

com2

谢谢楼主分享！

you2b

精品文章，优秀！