极为罕见！顶级大佬齐呼吁：暂停超级智能研发

superzhzh

10月22日，未来生命研究所（Future of Life Institute，FLI）宣布，包括AI教父杰弗里·辛顿在内的超800名科技领袖及公众人物，日前共同签署发布一份倡议，呼吁在“超级智能”技术被科学界普遍认定为可控、安全，并获得公众广泛支持之前，暂停其进一步发展。


南都注意到，这份联合声明的签名名单包含了世界上最有影响力的科技领袖、科学家和公众人物。其中不仅有苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、维珍集团董事长理查·布兰森（Richard Branson）等科技产业界大佬，名单覆盖范围甚至已远远超出了硅谷。


前美国国家安全顾问苏珊·赖斯、前参谋长联席会议主席迈克·马伦也位列其中，显示了对国家科技安全的严重担忧。甚至连英国王妃梅根、特朗普的盟友史蒂夫·班农也出现在签署名单上，这种跨越政治立场的联合极为罕见。这份跨领域联合阵容显示出超级AI的风险议题已从学术圈蔓延至政治与社会治理层面，成为全球公共议题之一。

据统计截至23日中午，这份声明的签署人数已经超过3000人。在中国学术界，多位知名学者参与联署此次倡议，包括姚期智、清华大学公共管理学院院长薛澜、清华大学智能产业研究院院长张亚勤以及人工智能伦理与治理专家曾毅。他们的参与和主张呼应了中国长期倡导的“安全、可靠、可控”和“以人为本”的人工智能发展理念。


“超级智能的前景已经引起了人们的关注，其影响从人类经济的落伍和权力的剥夺，自由、公民权利、尊严和控制权的丧失，到国家安全风险，甚至可能导致人类灭绝。”签名者们严正警告。倡议明确指向，超级智能并非传统意义上的“算法偏见”或“就业冲击”问题，而是潜在的系统性风险；一旦AI能力全面超越人类，其目标函数若与人类利益错位，可能导致不可逆的社会后果。


事实上，早在人工智能爆发元年的2023年，出于对AI的担忧，包括马斯克、斯蒂夫·沃兹尼亚克在内的1000多名人工智能专家和行业高管就曾集体签署过一份公开信，呼吁人类暂停开发更强大的人工智能至少6个月。而更早之前，著名物理学家霍金生前曾与多位科技界名人发表联署公开信，表示人工智能对人类的威胁更甚于核武器。


“世界尚未准备好迎接不是可控工具的超级智能。”参与本次联署的北京前瞻人工智能安全与治理研究院院长，中国科学院自动化研究所研究员曾毅在个人微信朋友圈直言:“目前我们还没有坚实的科学证据和切实可行的方法来确保超级智能的安全，使其不会给人类带来灾难性的风险。”

所谓“超级智能”，是指在所有核心认知任务上全面超越人类能力的人工智能形式。


“如果以50年为限，超级智能一定会到来”。这是曾毅在2024年底的央视直播中曾下过的断语。当记者抛出“人工智能超过人类智慧，拥有人类情感的这一天是否会到来？”的问题时，曾毅想提出的却是另一个问题：当超级智能到来的时候，人类是不是能够做好准备？


“有一个观点说AI是中立的，对此我极不认同。其实人类的偏见、歧视、仇恨是会被内化到AI中，没有任何一种构造超级智能的方式是没有风险的。”在曾毅看来，一旦选定了正确的方式去构造AI，它的智能水平必然会超越人类，但与此同时，受益于正确价值护栏的超级智能也可以是超级利他的，超级共情的，因此他认为反而是“拥有自我的AI才会令人类社会更安全。”


曾毅曾经预测，和现在的智能体大多使用硅基材料不同，未来的类脑智能体有可能会使用生物材料。以前的智能体是存算分离的，类脑智能的硬件可以存算一体，与担心机器人取代就业机会相比，人们对超级智能体的担忧则因未知而充满不确定性。


参与本次联署呼吁的图灵奖得主、深度学习三巨头之一的约书亚·本吉奥（Yoshua Bengio）也指出，要安全地迈向“超级智能”，我们必须通过科学手段设计出在根本上无法伤害人类的人工智能系统——无论是由于目标偏差，还是被恶意利用。同时他曾多次在公开场合强调，公众也应在塑造人类共同未来的决策中拥有更强的话语权。


南都记者观察到，发起本次倡议的未来生命研究所，同期还曾发布一项美国全国性民意调查，显示公众对当前人工智能的发展方向普遍不满。仅有5%的受访者支持目前“无监管的AI开发现状”，而高达73%的受访者支持建立更为严格的监管机制，另有64%的受访者认为，在科学界尚未就安全与可控性达成共识之前，不应开发“超级智能”。


从宏观趋势看，AI风险治理的国际分歧正在加剧。美国与欧盟正推动不同版本的“AI法案”，其中欧盟强调透明度与可追溯性，美国则侧重市场自律与行业标准化。有分析认为，此次倡议或可推动G20或联合国层面的技术伦理议题重启，使AI治理从自律阶段走向多边协商阶段。


来源：南方都市报

编辑 张任姣
责编 王   萌审核 余   行

咖啡豆

这帮大佬挺有远见啊 我打赌如果真放任超级智能发展 比核泄漏影响范围还大 就像把定时炸弹放屋里还不管它 专业人士就是专业人士 曾毅说的没错 现在确实没可靠办法保证安全 我有点小强迫症 看到这种不确定风险就难受

dsfgdsg

暂停研发可能延缓医疗AI突破、气候模拟等领域的进展，但若放任风险失控，人类可能面临不可逆的灾难，此次倡议本质是赌上技术进步的速度，以换取安全验证的时间窗口。

月光如水

曾毅预言的生物材料类脑智能，可能突破现有硅基AI的工具属性，若AI拥有生物体的自主进化能力，其目标函数可能脱离人类预设，甚至通过基因编辑技术反向改造人类，这种远超科幻的想象，需在技术萌芽期建立生物安全国际公约。

xuye004

@元宝 如何界定超级智能的安全标准？

ycp123

历史上，人类对不可控技术的担忧不是第一次出现，核武器和基因编辑都经历过全球性的安全辩论。这次连政治立场完全对立的人都站到一起，很少见，也说明超级智能已经被视作跨越意识形态的全球公共风险。

ycp123

我注意到中国学者的声音和倡议里的“安全、可靠、可控”理念是契合的，这背后是中国在工业和科技治理领域一直推的“以人为本”思路。相比硅谷的快速迭代，中国更多是在提前设定技术边界，这可能影响未来全球标准。

weili0677

超级智能的讨论早已从单纯的技术圈扩展到政治安全领域。像苏珊·赖斯和迈克·马伦这样的安全高层参与本身，就是在向公众释放一个信号：这不仅是科研命题，更是国家安全议题。

77898876

英美在 AI 法案上的差异很值得留意：欧盟强调透明度和可追溯，而美国偏向行业自律。假如这种倡议推动到 G20 或联合国层面，国际标准可能会在监管与开放之间拉锯，影响全球企业和研发路径。

月光如水

本次倡议的规模比 2023 年那封暂停 AI 六个月的公开信更大，签署人数在一天内就从 800 涨到 3000+，而且覆盖学术、产业、政治、甚至明星圈，这种跨界呼吁说明公众参与权已经成为讨论重点。