[发明专利]车辆与车轮从属关系预测方法、系统、存储介质及终端

说明书

本发明提供一种车辆与车轮从属关系预测方法、系统、存储介质及终端，包括以下步骤：获取包含车辆和车轮的图像；基于目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像；根据所述车辆图像和所述车轮图像，基于图卷积神经网络模块预测所述车辆与所述车轮的从属关系。本发明的车辆与车轮从属关系预测方法、系统、存储介质及终端兼顾了车辆与车轮从属关系的预测精度和算法实时性。

技术领域

本发明涉及图像处理的技术领域，特别是涉及一种车辆与车轮从属关系预测方法、系统、存储介质及终端。

背景技术

车辆与车轮的从属关系预测是实现车辆姿态估计的重要手段之一，是自动驾驶领域内的重点研究问题。当车辆与车轮具有从属关系时，将该从属关系定义为“相关”，否则为“不相关”。

如图1所示，用不同的方框在图中标出前轮、后轮和车辆。当表示前轮或后轮的方框位于表示车辆的方框内时，说明所述前轮或后轮与所述车辆具有从属关系；当表示前轮或后轮的方框不位于表示车辆的方框内时，说明所述前轮或后轮与所述车辆不具有从属关系。

在自动驾驶领域，通常采用以下两种算法预测车辆与车轮的从属关系：

(1)异步检测模式

具体地，首先利用目标检测算法检测出车辆位置，然后裁剪出车辆区域的图像进行车轮的检测，并判定所检测出的车轮仅与当前车辆相关。但是，异步进行车辆和车轮从属关系预测时，在嵌入式设备上耗时较长，无法满足高速或密集场景对实时性的要求。

(2)同步检测模式

具体地，同时检测出车辆和车轮的位置，并采用额外的卷积神经网络分支独立地对车辆和车轮单独预测一个高维向量，根据高维向量之间的距离大小判定车辆和车轮是否具有从属关系。但是，同步进行车辆和车轮从属关系预测时，无法关联车辆与车轮的视觉特征和语义特征，因此提取到的特征形式单一，精度较低，不利于泛化。

另外，在进行车辆与车轮的从属关系预测时，还存在鱼眼场景下的数据样本不足、畸变扰动较大的问题。这是因为目前支持车辆与车轮从属关系预测的数据集基本都来源于监控或网络图片，并不适用于应用广泛的车载鱼眼场景。同时车载鱼眼场景下的图片存在较为严重的畸变，为预测车辆和车轮的从属关系带来了困难。

因此，为了进一步提升车辆与车轮的从属关系预测算法的性能，采用了模型容量改善、损失函数和数据预处理的方法。如SqueezeNet、ShuffleNet、MobileNet以及Xception等模型有较低的模型容量，这些模型具有普适性，可用于提升异步或同步检测算法的实时性。再如Triplet loss、Center loss、Corner loss以及Cosine Margin Loss等损失函数从不同的角度约束高维向量，可提升同步检测算法的精度。还如Random corp、Flip、Translations以及Rotations等方法对数据进行预处理，增强数据的多样性，可提升同步和异步检测算法的鲁棒性。

然而，上述方法虽然可以从不同的角度提升同步和异步检测算法的精度与实时性，但改进后的算法所提取到的特征形式仍然较为单一，未实现车辆特征与车轮特征的融合；仅依靠数据预处理方法，无法从监控图片、网络图片中获得真实的鱼眼场景下的数据。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车辆与车轮从属关系预测方法、系统、存储介质及终端，通过图卷积神经网络实现车辆与车轮的视觉和语义特征的关联，并利用并行处理方式预测车辆与车轮的从属关系，从而既能够提升车辆与车轮从属关系的预测精度，又能够挺高算法实时性。