[发明专利]基于滑动窗口的车底图片异物识别方法、装置及存储介质

权利要求书

1.一种基于滑动窗口的车底图片异物识别方法，其特征在于，包括如下步骤：

步骤1，训练异物识别网络模型M，获得异物识别网络的参数；

步骤2，采用滑动窗口将车底图片切分为多个窗口图像、多进程加载各窗口图像数据、对窗口图像进行预处理并输入异物识别网络M得到异物的识别结果；包括：

步骤2-1，采用长宽分别为h、w的滑动窗口从高分辨率车底图片切分得到多个窗口图像；

步骤2-2，将多个窗口图像数据平均分配给多个进程，在每个进程加载异物识别网络M，异物识别网络M包括骨干网络、特征金字塔、基于锚框的预测网络和基于特征点的预测网络；

步骤2-3，对输入的窗口图像进行归一化、转换为Pytorch张量数据类型的预处理；

步骤2-4，将预处理后的数据输入异物识别网络M分别得到锚框和特征点的分类值以及边框回归值；

步骤2-5，根据步骤2-4输出的分类值以及边框回归值可求得预测边框，取其中置信度大于t₂的边框，t₂为人工设定的置信度阈值；将各进程处理的窗口图像的各特征层的基于锚框的预测边框和基于特征点的预测边框一并加入边框集合，对边框集合执行非极大值抑制运算，得到最后的异物识别结果。

2.根据权利要求1所述的方法，其特征在于，置信度阈值t₂设置为0.3至0.6之间。

3.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，收集包含异物的车底图片数据，包括车底图片以及对应的异物标注边界框和类别；将车底图片数据划分为训练集和验证集，然后将训练数据随机打乱并划分为多个小批次，验证集数据直接划分为多个小批次；

步骤1-2，对输入车底图片进行预处理，首先以长宽分别为h、w的窗口从输入车底图片中随机裁剪得到窗口图像，然后对窗口图像水平随机翻转并更新窗口图像对应的异物标注边框，最后对窗口图像进行归一化并转换为Pytorch 张量，将小批次内的数据拼接，得到异物识别网络M的输入数据；

步骤1-3，将步骤1-2预处理得到的数据输入异物识别网络M中的骨干网络，得到多尺度的特征图；

步骤1-4，将步骤1-3得到的多尺度特征图输入异物识别网络M中的特征金字塔网络，得到特征融合后的多尺度特征图；

步骤1-5，在步骤1-4输出的每个特征图上分配多种尺度以及长宽比的锚框，将特征图分别输入异物识别网络M中的基于锚框的预测网络和基于特征点的预测网络，得到每个锚框的分类值以及边框回归值，和每个特征点的分类值以及边框回归值；

步骤1-6，首先根据步骤1-5中锚框的分类值及边框回归值、特征点的分类值及边框回归值和车底图片的标注数据计算损失值；然后计算网络参数的梯度值，并更新网络参数值；

步骤1-7，对所有小批次执行步骤1-2到步骤1-6后，完成一个轮次的训练；对验证集的各小批次执行步骤1-2至步骤1-5，然后执行由边框过滤和非极大值抑制组成的后处理操作，得到验证集数据的异物识别结果，并根据识别结果和验证集的标注计算全类平均正确率；

步骤1-8，重复步骤1-1至步骤1-7共E次，选择全类平均正确率最高的批次的模型参数作为异物识别网络M的参数，其中，E=10～20。

4.根据权利要求2所述的方法，其特征在于，所述的骨干网络采用可变形卷积，所述的基于锚框的预测网络和基于特征点的预测网络均采用分组正则化。

5.根据权利要求2所述的方法，其特征在于，所述的基于锚框的预测网络的边框回归值为边框中心点坐标的相对偏移值以及边框长宽的调整值；所述的基于特征点的预测网络的边框回归值为特征点到边框四个边界的距离值。

6.一种基于滑动窗口的车底图片异物识别装置，其特征在于，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现如权利要求1至5任一所述的车底图片异物识别方法。

7.一种计算机可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一所述的车底图片异物识别方法。