将为虚拟现实(VR)提供无限可能。

李飞飞新项目仅凭借1张图,就能生成3D场景的AI系统

2024-12-03 09:33:36发布     来源:多知    作者:Penny  

  多知12月3日消息,李飞飞创立的“World Labs”刚刚发布了一个最新的AI系统——仅凭一张图片,AI就能生成一个真实、可互动的3D场景。

  与生成静态内容的 AI 图像/视频生成器不同,World Labs 的系统可创建持久的 3D 环境,即使用户从不同角度探索,也能保持一致性。 "大多数生成式人工智能工具都是制作图片或视频等 2D 内容,"World Labs 写道。"三维生成则提高了控制和一致性。可以说,这是一个突破性技术。

  这一创新超越了传统生成模型的单纯像素预测,转而直接渲染出完整的3D场景,且场景具有高度的交互性和自由度,用户可以通过键盘或鼠标自由控制视角,甚至可以像玩游戏一样探索这个虚拟世界。

  

(一张静态的图可以转为3D画面)

  一旦生成一个3D场景,它就会持续存在——即使你把视线移开然后再转回来,也不会发生突然变化。而且,除了视觉保真度之外,World Labs 的技术还将现实生活中的物理现象带入了虚拟空间。用户还可以应用实时相机效果,如景深调整和推拉变焦,类似于传统的电影制作技术。该技术还支持动态照明变化和场景修改等互动功能,所有这些都直接在网络浏览器中呈现。

  3D 生成式 AI 的应用范围已扩展到视频游戏、电影、建筑甚至在线教育。正如联合创始人贾斯汀·约翰逊 (Justin Johnson) 所指出的那样,如今创造互动式沉浸式世界需要多年的开发时间和巨额预算。借助 AI 生成的世界模型,他们希望让这个过程更快、更方便,从而让人人拥有创造力。

  这种技术不仅是艺术创作的巨大工具,也为虚拟现实(VR)提供了无限可能,网友们纷纷表示,这项技术可能是VR应用的一次重大飞跃。

  不少知名人士也为此点赞,Shopify创始人Tobi Lutke称其为“AI领域的一次革命”,他认为这项技术将会彻底改变创作与互动体验。评论区更是被“难以置信”刷屏,用户纷纷表示,3D世界的稳定性和物理真实性让他们大开眼界。许多网友认为,AI能够从单张图片生成这样的世界,不仅让游戏和电影的制作方式发生变革,还将极大提升设计、教育、艺术等领域的创作效率。

  李飞飞本人也在社交平台分享了这一成果,表示:“虽然很难用语言完全描述这种通过一张图片或一句话就能生成的3D场景互动体验,但我相信它会给大家带来全新的感受。”目前,World Labs的系统已经进入内测阶段,创作者和开发者们纷纷抢先体验,并开始在实际项目中运用这项技术。

  World Labs 于今年早些时候成立,已获得了 2.3 亿美元的风险投资,投资者包括 Andreessen Horowitz (a16z)、Ashton Kutcher、英特尔资本、AMD Ventures 和埃里克-施密特(Eric Schmidt)。 该公司的估值超过 10 亿美元。