刚刚，李飞飞的世界模型正式开放，人人都能生成不失真的专属3D世界

superzhzh

刚刚，李飞飞的创业公司 World Labs 正式宣布，他们的世界模型 Marble 正式向所有人开放使用。


两天前，李飞飞发布了一篇引起刷屏的雄文，阐释自己对世界模型和空间智能的看法。果然，她的正式"作品"紧接着就公开上线了。

*Marble介绍视频


一句话总结，Marble 是 World Labs 的第一款产品，基于多模态世界模型打造。


这个模型现在允许任何人通过图片/文字/视频/3D素材，创建高保真、持久的3D世界，让每个人脑海中的个性化场景精准地呈现在现实中。

世界模型被期待为下一个 AI 重大突破的机遇，也是近期全球科技圈的焦点。李飞飞发布 Marble 自然引起各路大佬围观，YC、a16z 的合伙人都第一时间转发or体验。

*YC的Garry Tan称李飞飞的这次发布非常重要

*a16z 的 Justine Moore 试用完称非常有趣


与 Marble 模型开放使用的消息一起公开的，还有 World Labs 的一篇产品解读长文。这篇文章里，团队不仅介绍了 Marble 的特点，还花式展示了不少效果案例和使用Tips。


我们第一时间对它进行评测（附在文末），并根据官方介绍整理出 Marble 的功能亮点👇：


全面多模态化
这是 Marble 最本质的特点。它已实现大规模多模态融合，可以根据文本、图像、视频或粗略的 3D 素材生成三维世界。

*图片提示案例

*文本提示案例
多图像提示
在使用中，用户输入多个图像的提示，往往能以更高的精度创建 3D 世界。


原因在于，仅仅输入文本或单图像作为提示词时，Marble 必须自行创造提示词中未提供的世界部分。而如果使用多图像，模型就可以根据这些图像生成"世界"从不同角度看起来的样子。


官方认为，这个功能事实上带来了一个全新的世界生成工作流：用户可以使用自己喜欢的图像生成工具，生成并输入参考图，而 Marble 会将这些图生成为完整的 3D 世界，同时还能在各个输入图之间无缝过渡。

多图像提示还可以用来创建受现实世界空间启发的"世界"。


Marble 可以输入几张从不同角度拍摄的现实场景照片，或一段短视频，并将它们组合生成一个基于现实空间的世界。

编辑功能，让生成更符合心意

对许多人而言，创作是一个需要迭代的过程，所以 Marble 还内置了原生 AI 世界编辑工具，方便用户调整。


用户可以通过它做微调，例如删除一个物体，或修饰某个区域；也能用它做更大幅度的改动，例如替换物体、改变视觉风格，或重新构建世界中的大片区域。

*编辑案例

*编辑案例

*编辑案例


Marble 的多模态输入与编辑功能，为生成的三维世界提供了高度控制能力。


但有时若要让世界完全符合用户脑海中的构想，还需对场景布局、物体尺寸与位置等方面进行更精细的控制。针对这种需求，他们推出了 Chisel ——一款能够在 3D 空间中直接编辑 Marble 世界的原生 AI 工具。

*Chisel 编辑效果

*Chisel 编辑效果

*Chisel 编辑效果

*3D 编辑效果


构建更大世界

World Labs认为，有时候更大的确意味着更好。因为更广阔的"世界"带来更多可能性、更多空间，也更能展示用户的创造力。


所以他们提供了两种方式，让用户构建比之前更宏大的 3D 世界。


第一种，在"世界"生成完成后，Marble 支持一键扩展，让世界变得更大。


在这个过程中，用户拥有完全的控制权：


可以选择对"世界"中的某个区域进行扩展，Marble 会自动生成更多内容来填充所选区域。而且，扩展功能不仅可以让"世界"变得更大，还可以修复或优化原本存在瑕疵的部分——那些在初始生成时出现伪影或细节模糊的区域，在扩展后可以变得更加清晰干净。

另外，扩展还可用于针对性地增强局部细节。比如有时，一张桌子的背面或房间的远角可能不像房间中心那样清晰，此时对该区域进行扩展，就能显著改善画面效果。

丰富的导出模式
在使用 Marble 创建"世界"之后，用户可以通过多种方式将其导出，整合到接下来的操作中。


Gaussian splats（高斯点云）是 Marble 中最高保真度的表示形式。它将 3D 场景表示为一组半透明粒子的集合。用户可以使用 Spark —— World Lab 基于 THREE.js 的开源跨平台渲染器 ——在浏览器中直接渲染这些高斯点云。


另外 Marble 还可以导出为三角网格（triangle meshes），以便与众多业界标准的三维工具兼容与互操作。


它现在支持生成两种类型的网格：

• 碰撞网格（collider meshes）：低保真度网格，用于粗略的物理模拟；
  

• 高质量网格（high-quality meshes）：尽可能贴近高斯点云的视觉效果。
  

将世界导出为网格格式，能够让它与众多业界标准的三维工具进行兼容与互操作。

用户还可以 Marble 将生成的"世界"渲染为视频，采用像素级精度的相机控制，能够精准构图每一个镜头。


Marble 还可以对导出的视频进行增强。增强后的视频能够：

• 添加更多细节；
  
• 去除伪影与瑕疵；
  
• 为场景增添动态元素，同时仍保持像素级的相机控制精度，并严格遵循已生成三维世界的结构。
  

在 Marble 正式开放后，我第一时间进行了体验。



地址：marble.worldlabs.ai


目前，Marble 分为免费版和会员账号，区别在于生成数量、编辑功能丰富度、商用授权等。


该说不说，这个产品的操作非常容易上手——用户只用点击顶部对话框，就能选择需要上传的素材，目前可以上传 2D 图片或者 3D 模型，也可以通过文字生成。

我测试了四个案例，整体效果在交互性和逻辑性上都还不错，但是细节精细程度有时还需提升。


先看免费账号的效果。我让 Marble 通过一张霍格沃兹圣诞节时的图片，生成一个中世纪城堡内部样子的世界。

*提示图片


耗时约10分钟后，我的第一个 Marble 世界出现了。这个"世界"的交互性和物理一致性都挺好，空间感也不错，但或许由于图片清晰度不够，生成的效果有点粗糙——不是很清晰，细节也不够精致。

接下来，看看我氪金后用Pro账号多图生成的效果。


让模型生成火星表面的世界👇

*采用多图提示

通过伦敦的街景图，生成的世界👇

*采用多图提示

整体感觉画面比较细腻，效果比免费账号更清晰。


BTW，官方这次还一起推出了 Marble Labs。


在Marble Labs里，官方希望艺术家、工程师与设计师们共同探索世界模型，展示创意和真实工作流程，以及游戏、视觉特效（VFX）、设计、机器人等领域中的可能性。

oppledr

李飞飞提到空间智能将革新机器人技术，但目前的机器人学习数据稀缺。世界模型如何解决机器人训练数据不足的问题？

咖啡豆

李飞飞提的空间智能让AI像人一样感知空间太牛了，Marble能生成持久3D世界，就像给虚拟世界装了‘记忆芯片’，比普通3D建模强太多

meto

@元宝 什么是空间智能

com2

谢谢楼主分享！

yzszh64

感谢分享。