1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品只需两分钟,玩转图片转3D!还是高纹理质量、多视角高一致性的那种。不管是什么物种,输入时的单视图图...

贴文 2个月前
360 0

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

只需两分钟,玩转图片转3D!

还是高纹理质量、多视角高一致性的那种。

不管是什么物种,输入时的单视图图像还是这样婶儿的:

两分钟后,3D版大功告成

△上,Repaint123(NeRF);下,Repaint123(GS)

新方法名为Repaint123,核心思想是将2D扩散模型的强大图像生成能力与再绘策略的纹理对齐能力相结合,来生成高质量、多视角一致的图像。

此外,该研究还引入了针对重叠区域的可见性感知自适应再绘强度的方法。

Repaint123一举解决了此前方法多视角偏差大、纹理退化、生成慢等问题。

目前项目代码还未在GitHub公布,就有100+人赶来标星码住:

Repaint123长啥样?
目前,将图像转换为3D的方法通常采用Score Distillation Sampling (SDS)。尽管该方法的结果令人印象深刻,但存在一些问题,如多视角不一致、过度饱和、过度平滑的纹理以及生成速度缓慢。

△从上至下:输入,Zero123-XL,Magic123,Dream gaussian

为了解决这些问题,来自北京大学、鹏城实验室、新加坡国立大学、武汉大学的研究人员提出了Repaint123。

总的来说,Repaint123有这几点贡献:

(1)Repaint123通过综合考虑图像到3D生成的可控重绘过程,能够生成高质量的图片序列,并确保这些图片在多个视角下保持一致。

(2)Repaint123提出了一个简单的单视图3D生成的基准方法。

在粗模阶段,它利用Zero123作为3D先验,并结合SDS损失函数,通过优化Gaussian Splatting几何,快速生成粗糙的3D模型(仅需1分钟)。

在细模阶段,它采用Stable Diffusion作为2D先验,并结合均方误差(MSE)损失函数,通过快速细化网格纹理,生成高质量的3D模型(同样只需1分钟)。

(3)大量的实验证明了Repaint123方法的有效性。它能够在短短2分钟内,从单张图像中生成与2D生成质量相匹配的高质量3D内容 网页链接

暂无评论

暂无评论...