[发明专利]一种面向2D图像的车辆对象视点预测与三维模型恢复方法及装置

摘要

本发明提供的一种面向2D图像的车辆对象视点预测与三维模型恢复方法，首先生成离线掩膜模板数据集，包括离线完整掩膜模板数据集与离线删节掩膜模板数据集；然后在数据集上训练以视点、掩膜、对象类别、图像删节、二维选框为分支的深度卷积神经网络；根据待预测图像中车辆对象，通过比对基于深度卷积神经网络的掩膜预测结果与待匹配离线掩膜模板数据集合中的掩膜对象，得到掩膜模板匹配集合；最后利用车辆对象视点、三维模型、掩膜存在的透视投影变换规律，设计基于视点与掩膜的置信度加权融合方法，得到最终视点预测结果，恢复车辆三维模型。

主权项

1.一种面向2D图像的车辆对象视点预测与三维模型恢复方法，其特征在于，包括如下步骤：/n步骤S1：离线掩膜模板数据集生成，包括离线完整掩膜模板数据集与离线删节掩膜模板数据集；/n步骤S2：利用深度卷积神经网络预测目标车辆对象的视点、掩膜与是否被图像删节，生成掩膜预测结果、图像删节预测结果、车辆对象视点预测结果和对应的置信度；/n步骤S3：通过比对基于深度卷积神经网络的掩膜预测结果与待匹配离线掩膜模板数据集合中的掩膜对象，得到掩膜模板匹配集合，其中，待匹配离线掩膜模板数据集是基于深度卷积神经网络图像删节预测结果的离线完整掩膜模板数据集或离线删节掩膜模板数据集；/n步骤S4：根据目标车辆预测视点的置信度，计算对应的权重值，对基于深度卷积神经网络的视点预测结果与基于掩膜模板匹配的视点进行线性加权，生成最终的视点预测结果，恢复对应三维模型。/n