李飞飞团队实现“隔空建模”,透过遮挡物还原完整3D人体模型注意看,这个男人搬着一个长长的柜子,画面中半个人都被遮挡住了。但即使有这样的遮挡,男人的整个身...

贴文 2个月前
760 0

李飞飞团队实现“隔空建模”,透过遮挡物还原完整3D人体模型

注意看,这个男人搬着一个长长的柜子,画面中半个人都被遮挡住了。

但即使有这样的遮挡,男人的整个身体在AI面前依然是无所遁形。

哪怕是蹲在椅子背后只露出头,依然可以被模型完整还原。

从遮挡物背后把人“揪”出来的,是李飞飞团队推出的人体建模新工具Wild2Avatar(本文简称W2A)。

只要一段4秒左右的的单角度视频,就能构建出完整的3D模型,有遮挡也不怕。

相比此前的SOTA方法,Wild2Avatar在人体建模上可谓是实现了质的飞跃。

建模效果完胜Vid2Avatar
从下面的对比图中(从左到右依次为带遮挡原图、Vid2Avatar提取结果和W2A提取结果)可以看到,作为baseline的Vid2Avatar方法只能大概描绘出人的轮廓,遮挡物直接被“拍扁”到了人物身上,而且轮廓看上去也不够准确。

而W2A提取出的人物不仅轮廓更加精确,看上去也更具立体感,关键是遮挡物被完美地去除,显现出了完整的人物结构。

对遮挡物的去除,W2A操作得也更为彻底,没有留下多余的痕迹。

而baseline中部分结构缺失的现象,在W2A中也没有发生,人物的结构十分完整。

而且,W2A的人物建模是动态的,视频画面中,就算整个人都藏在椅子后面,依然可以输出人物模型。

和另一baseline OccNeRF相比,W2A只需100帧的训练视频就能复原出完整干净的结构,但后者用了500帧的系列视频后不仅结构缺陷极大,还存在许多“鬼影”。

测试数据也表明,对于陌生场景,W2A的提取质量和完整性(comp.)都比V2A有所提升,特别是对遮挡(llm)部分,合成质量得分接近翻番。

和OccNeRF相比,W2A与500帧训练数据的OccNeRF整体成绩接近,但遮挡部分仍然是有明显增强。

那么,Wild2Avatar是如何实现的呢? 网页链接

暂无评论

暂无评论...