“大模型的安卓”也不好过，Meta内部“算力宫斗”，一半Llama核心团队已离

mulunbo

在过去半年的AI混战里，提供免费开源大模型的Meta，成了与眼里只有生意的谷歌、微软&OpenAI截然相反的平民英雄。
然而，尽管凭借Llama，Meta已经拿下了“大模型里的安卓”的名头，但据科技媒体The Information报道，团队内部实际上充满了混乱和内斗，许多参与开发的工程师和科学家都已经离职。知情人士表示，2月份发表的Llama原始研究论文的14位作者中，有一半以上已经离开了公司，有几位去了人工智能初创公司或其他大公司。
算力宫斗

导致Meta内斗的主因，是算力。
以图灵奖得主Yann LeCun为首的The Fundamental AI Research (FAIR) 实验室，主导着Meta的AI研究和开发。FAIR在加州、纽约、巴黎、伦敦等地都有分支机构，但各地实验室之间缺乏统筹，甚至可以称得上山头林立。
例如，2022年5月，一个主要位于美国的FAIR团队发布OPT-175B，对标OpenAI的GPT-3，据称能耗比GPT更低，这个团队也在开发对标谷歌PaLM、参数量级更大的模型。
与此同时，FAIR巴黎团队也在开发他们的大模型——即Llama，后者的参数比OPT要小，因为巴黎团队相信，小模型在推理方面效率更高。
多线并进没有给Meta带来好结果。英伟达的算力供给昂贵而有限，即使是Meta，也没有足够的GPU满足两个团队同时推进。
两位直接知情人士对The Information表示，由于Meta的GPU资源不足，巴黎团队和美国团队关系变得越来越紧张。据知情人士透露，巴黎团队获得的算力配额比美国团队要少。
FAIR负责人Joelle Pineau对The Information表示，算力分配是由多部门的中层领导每月开一次会来决定的，主要考虑的是组织的优先级，以及项目发布日期。如果员工们对算力分配有异议，需要层层上报等Pineau来定夺。
在采访中，Pineau承认Llama与OPT各自的开发团队在这个问题上“有些紧张”。
据The Information了解，许多研究人员实际上都不理解FAIR为什么要采取多线并进的方式。两个团队都在做大模型，看起来似乎是在鼓励内部竞争。
内斗再加上Meta去年底的大裁员和公司组织调整，Llama和OPT的开发团队都出现了士气问题，多位关键研究人员选择离职加入其他大科技公司或AI初创企业。
直到今年2月份，FAIR终于把两家人马收拢到一起，全力开发Llama2，而OPT模型则被彻底放弃。原因倒不在于Llama比OPT出色，而是因为没人了——5月份OPT论文的19位作者中，已经有一半离开了Meta。
商业化转向提速 FAIR未来命运存疑

从去年11月开始，Meta CEO 扎克伯格开始在全公司范围内进行裁员，FAIR也未能幸免。
此外，今年2月，Meta成立了一个新团队，专注于自家App开发AI功能。新团队由苹果前高管Ahmad Al-Dahle负责，从FAIR吸纳了大量人员。据Pineau称，其中包括开发Llama 2的团队。
更重要的是，AI热潮之下，FAIR所肩负的使命也发生了微妙的变化。之前，它和OpenAI一样，是一个由研究人员领导的学术研究机构，以人工智能领域技术攻坚为核心使命。但扎克伯格后来愈发希望加速令AI技术商业化。
即使有了Llama 2后来的大获成功，也没有改变FAIR的命运。开源模型变成了Meta打造声誉、吸引用户、创造营收的有力工具。
在上半年Llama 2爆红，AI研究人员纷纷对其进行魔改之际，扎克伯格就已经开始憧憬，随着开发者对模型的改进，他可以进一步把AI融入广告和消费产品中。未来，像OpenAI一样背负商业化压力，可能是FAIR必然的道路。