[发明专利]一种多视图P2VNet网络的三维重建方法

说明书

本发明涉及一种多视图P2VNet网络的三维重建方法。传统的多视图三维重建通过使用复杂的设备对物体的二维特征进行采集，使用算法对物体进行三维特征恢复，算法计算量较大、实时性差、且易受环境等因素干扰导致三维重建精度不稳定。本发明首先重新设计了编码网络和解码网络，可以更好实现二维特征到三维特征端到端的映射；其次使用3DFocal Loss作为模型的损失函数，从而解决网格中整体空间分布不均衡问题和部分网格占用较难划分的问题；最后提出一种多视图自适应融合网络，把不同视图生成的三维特征进行融合，并对融合后的特征使用自适应特征感知网络生成最终的体素。本发明的P2VNet网络目标重建的平均准确率达到68.2％，它比3D‑R2N2的平均准确率高9.5％，比Pix2Vox‑A的平均准确率高1.5％。

技术领域

本发明涉及三维重建技术领域，具体涉及一种多视图P2VNet网络的三维重建方法。

背景技术

3D重建是机器人、CAD、虚拟现实和增强现实中的一个重要问题。传统方法，如来自运动的结构SfM和同时定位和映射SLAM，在进行跨视图匹配图像特征时，难以建立特征对应关系。

为了解决上述问题，近年来，学者们提出了几种基于深度学习的三维重建网络。例如，3D-R2N2、Pix2Vox、PSGN等网络实现了单视图或者多视图的3D体素重建。

上述网络中，PSGN不能稳健地由单张图像重建出完整的高质量形状，使得结果精确度较低。其次，3D-R2N2使用的递归神经网络存在长期记忆丧失的问题，当按照不同顺序输入同一组图像时，网络无法估计出一致的3D体素。同时，由于LSTM网络参数量大，因而时间损耗严重。为了解决上述重建网络中存在的问题，Xie等人提出了Pix2Vox。首先，Pix2Vox网络是由多个并行的“编码器-解码器”块组成，每个块从输入的视图预测一个粗略的体积网格，从而消除了输入图像顺序的影响；其次，上下文感知融合模块从粗略的3D体素中选择高质量特征进行重建，并且融合生成一个精细的3D体素。但是，在从二维图像生成三维体素的过程中，不能直接体现特征的端到端映射；同时，由于上下文融合模块只使用大小为3×3的感受野进行上下文特征感知，使得单视图重建后的目标边缘效果较差，导致多视图融合后的边缘效果也较差。

发明内容

有鉴于此，本发明为解决现有技术计算量大，实时性差，且容易受环境因素影响精度的问题，提供一种多视图P2VNet网络的三维重建方法。

为实现上述目的，本发明采用的技术方案为：一种多视图P2VNet网络的三维重建方法，其特征在于：步骤为：

Step1：数据集的构建

采集多个目标的二维图像数据，对于同一目标，使用CAD软件计算出该目标的三维体素特征，把所有的二维图像和相应的三维体素特征按照3:1的比例划分为训练集和测试集，并转化为深度模型需要的输入数据；

Step2：通过编码模块对训练集和测试集中的二维图像进行特征提取，生成不同尺度的2D特征图；

Step3：深度估计模块将多个二维特征融合生成三维特征

通过把Step2提取的2D特征当作前层特征，使用Sigmoid生成2D特征空间概率，再使用残差网络对前层特征进行深度感知，然后把深度感知特征与特征空间概率相乘得到后层特征，最后把前后层特征拼接生成最终的3D特征；

Step4：解码模块将深度估计模块生成的三维特征通过3D解码网络生成粗糙的三维体素；

Step5：利用多尺度上下文特征感知模块进行多视图融合，将不同角度下的2D视图重建结果进行融合，丰富最终的3D体素特征，进而生成精确的重建效果；

Step6：对训练集重复执行步骤Step2～Step5的训练，直至整个模型收敛；