LGM:生成高质量3D模型

支持文字生成模型、图片生成模型,分辨率512x512,5秒内即可生成。

3D内容创作在质量和速度方面都取得了显着进步。尽管当前的前馈模型可以在几秒钟内生成 3D 对象,但其分辨率受到训练期间所需的密集计算的限制。在本文中,介绍了大型多视图高斯模型 (LGM),这是一种新颖的框架,旨在从文本提示或单视图图像生成高分辨率 3D 模型。我们的主要见解有两个:
(1) 3D 表示:提出多视图高斯特征作为一种高效而强大的表示,然后可以将其融合在一起以进行可微渲染。
(2) 3D Backbone:我们提出了一个非对称 U-Net 作为在多视图图像上运行的高吞吐量主干,它可以通过利用多视图扩散模型从文本或单视图图像输入生成。大量的实验证明了我们的方法的高保真度和效率。
值得注意的是,保持了 5 秒内生成 3D 对象的快速速度,同时将训练分辨率提高到 512,从而实现了高分辨率 3D 内容生成。

注意:由于训练中使用的数据集基于AWS,因此不能直接用于新环境中的训练。
提供了必要的训练代码框架,请检查并修改数据集实现!

致谢

这项工作建立在许多令人惊叹的研究工作和开源项目的基础上,非常感谢所有作者的分享!

如果想详细了解,可以点开视频下方的链接。
谢谢观看本视频。要是喜欢,请订阅、点赞。谢谢

在线体验:https://huggingface.co/spaces/ashawkey/LGM
项目地址:https://me.kiui.moe/lgm/
Github:https://github.com/3DTopia/LGM

油管:https://youtu.be/cQywmrTGtL8

了解 Tarogo Cloud Bloger & Shop 的更多信息

立即订阅以继续阅读并访问完整档案。

继续阅读