[发明专利]一种面向2D图像的车辆对象视点预测与三维模型恢复方法及装置

权利要求书

1.一种面向2D图像的车辆对象视点预测与三维模型恢复方法，其特征在于，包括如下步骤：

步骤S1：离线掩膜模板数据集生成，包括离线完整掩膜模板数据集与离线删节掩膜模板数据集；

步骤S2：利用深度卷积神经网络预测目标车辆对象的视点、掩膜与是否被图像删节，生成掩膜预测结果、图像删节预测结果、车辆对象视点预测结果和对应的置信度；

步骤S3：通过比对基于深度卷积神经网络的掩膜预测结果与待匹配离线掩膜模板数据集合中的掩膜对象，得到掩膜模板匹配集合，其中，待匹配离线掩膜模板数据集是基于深度卷积神经网络图像删节预测结果的离线完整掩膜模板数据集或离线删节掩膜模板数据集；

步骤S4：根据目标车辆预测视点的置信度，计算对应的权重值，对基于深度卷积神经网络的视点预测结果与基于掩膜模板匹配的视点进行线性加权，生成最终的视点预测结果，恢复对应三维模型。

2.如权利要求1所述的一种面向2D图像的车辆对象视点预测与三维模型恢复方法，其特征在于：步骤S1具体包括，

步骤S1.1：渲染随机视点下ShapeNet公开数据集中的所有M个车辆模型，对于单个车辆模型表示与此模型相关的二维掩膜模板集合，其中n表示此三维模型渲染随机视点数量；对于M个车辆模型，表示离线完整掩膜模板数据集；

步骤S1.2：对离线完整掩膜模板数据集中每个车辆对象的图像边界框进行扰动裁剪处理，生成离线删节掩膜模板数据集

步骤S1.3：通过合并离线完整掩膜模板数据集与离线删节掩膜模板数据集生成最终的离线掩膜模板数据集

3.如权利要求2所述的一种面向2D图像的车辆对象视点预测与三维模型恢复方法，其特征在于：步骤S2具体包括，

步骤S2.1：预处理PASCAL 3D+数据集、COCO数据集、IMAGENET数据集，其中，PASCAL 3D+数据集包含类别、选框、视点标注；COCO数据集包含类别、选框、掩膜标注；IMAGENET数据集包含类别、选框、视点标注；

步骤S2.2：构建以Mask-RCNN为主干网络，增加图像删节分支网络、视点分支网络的深度卷积神经网络，所述视点分支网络是基于特征金字塔的计算图视点分类网络，由RoIAlign、两层全连接层与输出层组成；所述图像删节分支网络是基于金字塔特征与掩膜特征的计算图网络，由RoIAlign、特征联合层、两层全连接层与输出层组成；针对深度卷积神经网络每一个感兴趣区域，loss为其中，为类别loss，为选框loss，为掩膜loss，为图像删节loss，图像删节分支仅在IoU大于某一阈值时，计算loss参与反向传播，具有如下形式，

其中，λ_truncated是图像删节损失函数的正则参数，N_c表示类别数量，如果网络候选项是车辆，则为1，否则为0，P表示交叉熵损失函数，是一维向量，表示图像删节的真值，0表示车辆对象未被图像删节，1表示车辆对象被图像删节，T_i表示图像删节的预测结果；

为视点loss，视点分支视点loss具有如下形式，

其中，λ_vp是视点损失函数的正则参数，N_c表示类别数量，如果网络候选项是车辆，则为1，否则为0，P表示交叉熵损失函数，是三维向量，表示视点的真值，其每一维的长度分别表示视点水平角、仰角、旋转角的分割数量，V_i表示视点的预测结果；

步骤S2.3：在PASCAL 3D+数据集、COCO数据集、IMAGENET数据集上轮流训练，训练过程中，无标注的分支不参与反向传播；测试过程中，视点预测结果、置信度分别记为掩膜预测结果记为