ECCV 2018 | Pixel2Mesh:从单帧RGB图像生成三维网格模型

  • 时间:
  • 浏览:1
  • 来源:大发快3官方直播—彩神UU快三代理

实验结果

point cloud 是这名 生活不规则的数据特征,可能性点之间没办法 局部连结关系,点云往往缺乏物体的皮下组织信息;3D Mesh 同样是这名 生活不规则的数据特征,由点、边和面组成,可能性其轻量、特征细节充足等特征,在虚拟现实、动画游戏、生产制造等实际产业中应用没办法 广泛,本文研究要怎样从单张 RGB 图重建出对应的 3D mesh 模型。

对于 CD 和 EMD,在 ShapeNet 测试集上,本文的法律最好的土办法在多数情况表下都达到了最好水平。

损失函数

1. 3D Mesh 的表示什么的大问题—引入图卷积神经网络。3D mesh 一般使用非规则数据形式—图(Graph)来表示,而共同整个网络还须要对其输入的规则的图像数据进行特征抽取。本文使用图卷积网络(GCN)来处里三维网格,使用这类于 VGG-16 的网络来提取二维图像特征。为了将两者联系在共同,设计了从前投影层使得网格中的每个节点能对应获取相应的二维图像的特征。

CD 和 EMD

受角度神经网络特征的限制,并且的法律最好的土办法通常用 volume 可能性 point cloud 表示三维特征,将它们转换为更易于使用的 mesh 并不易事。与现有法律最好的土办法不同,本文使用图卷积神经网络表示 3D mesh,利用从输入图像中提取的特征逐步对椭球进行变形从而产生正确的几何特征。本文使用由粗到精的模式进行生成,使得整个变形过程更加稳定。

本文来自云栖社区合作法律最好的土办法协议伙伴“PaperWeekly”,了解相关信息都须要关注“PaperWeekly”。

本文提出的法律最好的土办法在 ShapeNet 测试数据集上的表现,除了当阈值为时在 watercraft 类低于 PSG,有些指标均达到了最好水平。

上图(a)中 P 是从输入图片得来的特征,是顶点的位置,两者组合可得到相应的投影特征,再与 GCN 的特征简单合并送入网格形变模块(Mesh Deformation Block)中。整个网络中含 若干该模块。上图(b)是最好的土办法相机参数进行投影的示意图。

本文作者:让人更懂AI

本法律最好的土办法对输入图像进行的三维网格建模的结果:

原文发布时间为:2018-09-10

模型架构

本文定义了这名 生活不同的损失函数来能够网格更好地形变。

Figure 1: Pixel2Mesh的架构

该论文由复旦大学、普林斯顿大学、Intel Labs 和腾讯 AI Lab 合作法律最好的土办法协议完成。文章提出了这名 生活端到端的角度学习框架,可从单张彩色图片直接生成三维网格(3D Mesh)。

2. 要怎样有效地更新网格的特征—引入图的上池化层。实验发现,直接训练网络使其预测 mesh 的效果并不好。从前由于是可能性直接预测较大数量的点的网格,顶点的感受野会有受限,即 mesh 的顶点无法有效地检索邻近顶点的特征。为了处里有些什么的大问题,本文设计了从前图的上池化层(Graph unpooling layer),使得点的数量逐渐由少到多,相应的网格特征由粗到细,既保留了全局信息,又具有细节的表达。

此外,本文还定义了几种与 mesh 相关的损失函数捕捉不同级别的特征,以保证视觉上有吸引力或者物理上高重建精度。少量实验表明,本文的法律最好的土办法不仅定性上都须要生成细节更加充分的 mesh 模型,或者与当前最好的法律最好的土办法相比也实现了更高的重建精度。

F-score (%)

Pixel2Mesh 的架构如图 1 所示。对于输入图像,设计另从前层的卷积神经网络,用于提取图片不同层次的特征。对于输出三维网格,设计了 3 个级联的变形模块,由图神经网络构成。Perceptual feature pooling 层可根据网格顶点坐标得到投影的图片特征,或者根据此特征不断对初始的椭球进行变形,以逼近真实特征。Graph unpooling 层用于增加三维网格节点和边的数量。

本文的目的在于提出这名 生活生成结果光滑、重建精度高的利用单张彩色图生成物体三维网格模型的法律最好的土办法。本文没办法 直接采用生成 3D Mesh 的法律最好的土办法,并且采用将从前固定的椭球最好的土办法图像特征逐渐形变成目标特征的策略。本文针对从前三维网格重建难点给出了处里方案:

上图是图的上池化过程。(a)中的黑色顶点即为新增的顶点,连接的虚线即为新增的边。这是 Edge-based 的法律最好的土办法,还这名 生活生活 Face-based 的法律最好的土办法,即在每个三角形中心加上从前顶点,但从前会造成网格顶点不均衡的什么的大问题,如(b)所示。在实际操作中,每个新增的点居于旧三角形的边的中点位置,特征的值取相邻两顶点的均值。

三维数据有多种表示形式,包括 volume、point cloud、mesh 等。volume 是这名 生活规则的数据特征,即将物体表示为的 N3 格子,受分辨率和表达能力限制,有些表示法律最好的土办法通常缺乏细节。

Qualitative results. (a) Input image; (b) Volume from 3D-R2N2 [1], converted using Marching Cube [4]; (c) Point cloud from PSG [2], converted using ball pivoting [5]; (d) N3MR[3]; (e) Ours; (f) Ground truth.