[发明专利]一种基于无向图学习模型的单图像面片重建方法

说明书

本发明公开了一种基于无向图学习模型的单图像面片重建方法，包括：对现有的三维模型集中的三维模型进行多视角渲染获得训练图像集；使用无向图学习模型表示面片，建立由图像编码和相机视角估计构成的无向图初始化网络，获得该图像对应的相机视角参数，并对初始面片按照估计所得的相机视角参数进行投影，获得无向图初始特征；建立无向图LSTM网络结构和无向图CNN网络结构，对无向图模型进行特征更新，并将无向图每个节点映射到三维空间内的坐标，获得三角面片每个顶点位置；建立无向图初始化网络和无向图更新网络损失，并对神经网络进行多阶段训练；对输入图像使用已训练的网络进行三维重建获得最终面片模型。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于无向图学习模型的单图像面片重建方法。

背景技术

三维重建即从图像中利用特定的技术恢复图像中包含物体的三维形状。然而该任务是一个病态问题，这是由于图像中不可避免会出现自遮挡的问题，提供的信息有限，需要加入其他先验信息才可完成。

事实上，学术界已提出一些三维重建的方法，其中基于视觉线索的三维重建方法是直接根据图像中的计算机视觉特征，以现实世界的物理知识为指导对图像中的物体进行三维建模的方法。如文献1：Andrew,Alex M.Shape from Shading,edited by HornBerthold KP and Brooks Michael J.MIT Press,Cambridge,Mass.,1989,577pp.(￡49.50).Robotica 8.3(1990):263-264最早提出这一理论，其根据物体表面的性质，提取图像中的物体阴影，并将从阴影重建问题转化为求解一阶非线性偏微分方程问题。然而基于视觉线索的方法对于图像拍摄的限制条件十分繁多，而且对于被重建物体的表面材质有较强的约束，用户的拍摄负担很重，难以满足日常使用的需求。

随着三维模型集规模的增长，一些研究者提出了数据驱动的三维重建方法。即通过从三维模型集中学习获得用于三维重建的先验信息。如文献2：K.Xu,H.Zheng,H.Zhang,D.Cohen-Or,L.Liu,and Y.Xiong,“Photo-inspired model-driven 3D objectmodeling,”ACM SIGGRAPH 2011Pap.-SIGGRAPH’11,vol.1,no.212,p.1,2011从三维模型集中学习获得一类模型的平均模型，然后该平均模型在图像对应的指导下自动变形以匹配图像中的物体。文献3：Q.Huang,H.Wang,and V.Koltun,“Single-ViewReconstruction viaJoint Analysis of Image and Shape Collections,”ACM Trans.Graph.,vol.34,no.4,pp.1–10,2015做法的关键思想是联合分析物体的图像和三维模型集合，生成图像和模型之间的对应关系，再通过不同部件的拼装和组合获得对象外观的三维表示。这类方法的主要优点是无需用户交互的介入，且不依赖于特征工程选择的计算机视觉特征。