[发明专利]一种多视图P2VNet网络的三维重建方法

权利要求书

1.一种多视图P2VNet网络的三维重建方法，其特征在于：步骤为：

Step1：数据集的构建

采集多个目标的二维图像数据，对于同一目标，使用CAD软件计算出该目标的三维体素特征，把所有的二维图像和相应的三维体素特征按照3:1的比例划分为训练集和测试集，并转化为深度模型需要的输入数据；

Step2：通过编码模块对训练集和测试集中的二维图像进行特征提取，生成不同尺度的2D特征图；

Step3：深度估计模块将多个二维特征融合生成三维特征

通过把Step2提取的2D特征当作前层特征，使用Sigmoid生成2D特征空间概率，再使用残差网络对前层特征进行深度感知，然后把深度感知特征与特征空间概率相乘得到后层特征，最后把前后层特征拼接生成最终的3D特征；

Step4：解码模块将深度估计模块生成的三维特征通过3D解码网络生成粗糙的三维体素；

Step5：利用多尺度上下文特征感知模块进行多视图融合，将不同角度下的2D视图重建结果进行融合，丰富最终的3D体素特征，进而生成精确的重建效果；

Step6：对训练集重复执行步骤Step2～Step5的训练，直至整个模型收敛；

Step7：保存步骤Step6训练后所获得的多视图三维重建模型，并对测试集中的二维图像进行三维重建测试，生成相应的三维体素模型。

2.根据权利要求1所述的一种多视图P2VNet网络的三维重建方法，其特征在于：所述的步骤Step2的具体方法为：

编码模块对步骤1训练集和测试集中的二维图像进行特征提取，2D特征提取使用ResNet50网络的卷积模块对256×256×3大小的图像进行提取，得到128×32²、256×16²、512×8²、1024×4²、1024×2²大小的特征图。

3.根据权利要求1或2所述的一种多视图P2VNet网络的三维重建方法，其特征在于:所述的步骤Step3的具体方法为：

深度估计的计算过程如公式(1)、(2)所示

F′_i＝D(F_i)×S(F_i)(i＝1,2,...m) (1)

其中m为总通道数，F′_i表示第i个后层的二维特征，D(F_i)表示第i个深度感知二维特征，S(F_i)表示第i个特征的二维空间概率；

M_i＝F_i+F′_i(i＝1,2,...m) (2)

其中F′_i表示第i个深度估计的二维特征，F′_i表示第i个融合二维特征，M_i表示第i个特征的三维空间概率。

4.根据权利要求3所述的一种多视图P2VNet网络的三维重建方法，其特征在于：所述步骤Step4的具体方法为：

解码模块将步骤Step3生成的三维基本单元组通过3D特征升维网络与3D特征感知网络生成粗糙的三维体素：

(1)3D特征升维网络

3D特征生成网络是由4个上采样网络组成，其中上采样块是由3D反卷积网络进行3D特征升维，再通过Reshape把深度估计生成的三维特征依次转化为3D特征，最后使用3D卷积网络把编码网络生成的3D特征与升维特征进行融合；

(2)3D特征感知网络

完成3D特征升维后，首先使用感知网络把生成的3D特征调整为正视图下生成的3D特征，该感知网络使用卷积核为1×1的3D卷积，并在后面使用批处理归一化和Leaky ReLU激活，进行3次深度感知生成的3D特征，再把每次感知的特征在通道上融合，然后对融合后特征使用2个3D卷积网络使得特征通道变化为8和1，选择最优的通道特征；第一个卷积网络由卷积核为3³、填充为1的3D卷积，三维批处理归一化和ReLU激活函数组成；第二个卷积网络由卷积核为3³、填充为1的3D卷积，3D批处理归一化和Sigmoid激活函数组成。