[发明专利]一种面向2D图像的车辆对象视点预测与三维模型恢复方法及装置

说明书

本发明提供的一种面向2D图像的车辆对象视点预测与三维模型恢复方法，首先生成离线掩膜模板数据集，包括离线完整掩膜模板数据集与离线删节掩膜模板数据集；然后在数据集上训练以视点、掩膜、对象类别、图像删节、二维选框为分支的深度卷积神经网络；根据待预测图像中车辆对象，通过比对基于深度卷积神经网络的掩膜预测结果与待匹配离线掩膜模板数据集合中的掩膜对象，得到掩膜模板匹配集合；最后利用车辆对象视点、三维模型、掩膜存在的透视投影变换规律，设计基于视点与掩膜的置信度加权融合方法，得到最终视点预测结果，恢复车辆三维模型。

技术领域

本发明涉及计算机视觉领域，具体涉及一种面向2D图像的车辆对象视点预测与三维模型恢复方法及装置。

背景技术

车辆对象视点预测与三维模型恢复广泛应用于3D场景理解、自动驾驶等领域，是交通智能化发展的重要途径之一，具有广泛的应用价值。车辆视点、三维模型、掩膜存在的透视投影变换规律等科学问题的研究对实现车辆视点与三维模型的精准预测将起到关键作用，具有一定的科学研究价值。

现有技术中，利用深度学习技术对车辆视点进行估计的方法可以分为两类。第一类方法基于关键点预测，首先预测车辆部件关键点或二维平面上的三维选框角点投影，然后通过PnP等算法预测视点。这一类方法基于车辆图像的局部特征，利用车辆视点与关键点特征存在的空间几何变换规律，预测的视点符合车辆关键点的几何分布特征，具有一定的鲁棒性。第二类基于全局特征预测视点，通过理解全局环境，有助于克服车辆视点预测存在的轴镜像问题，降低车辆对象视点预测的中位误差。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

基于车辆图像局部特征的视点预测方法由于难以区分具有类似特征的关键点，利用PnP等相关算法容易导致预测视点出现轴镜像。基于车辆图像全局特征的视点预测方法，易受到目标车辆受遮挡、图像删节等复杂因素的影响。

由此可知，现有技术中的方法存在视点预测中位误差MedErr高或准确度低的技术问题。

发明内容

有鉴于此，本发明提供了一种面向2D图像的车辆对象视点预测与三维模型恢复方法及装置，用以解决或者至少部分解决现有技术中的方法存在中位误差较高、准确度较低的技术问题。

本发明第一方面提供了一种2D图像的车辆对象视点预测与三维模型恢复方法，包括：

步骤S1：离线掩膜模板数据集生成，包括离线完整掩膜模板数据集与离线删节掩膜模板数据集；

步骤S2：利用深度卷积神经网络预测目标车辆对象的视点、掩膜与是否被图像删节，生成掩膜预测结果、图像删节预测结果、车辆对象视点预测结果和对应的置信度；

步骤S3：通过比对基于深度卷积神经网络的掩膜预测结果与待匹配离线掩膜模板数据集合中的掩膜对象，得到掩膜模板匹配集合，其中，待匹配离线掩膜模板数据集是基于深度卷积神经网络图像删节预测结果的离线完整掩膜模板数据集或离线删节掩膜模板数据集；

步骤S4：根据目标车辆预测视点的置信度，计算对应的权重值，对基于深度卷积神经网络的视点预测结果与基于掩膜模板匹配的视点进行线性加权，生成最终的视点预测结果，恢复对应三维模型。

在一种实施方式中，步骤S1具体包括：

步骤S1.1：渲染随机视点下ShapeNet公开数据集中的所有M个车辆模型，对于单个车辆模型表示与此模型相关的二维掩膜模板集合，其中n表示此三维模型渲染随机视点数量；对于M个车辆模型，表示离线完整掩膜模板数据集；

步骤S1.2：对离线完整掩膜模板数据集中每个车辆对象的图像边界框进行扰动裁剪处理，生成离线删节掩膜模板数据集

步骤S1.3：通过合并离线完整掩膜模板数据集与离线删节掩膜模板数据集生成最终的离线掩膜模板数据集