[发明专利]基于图像和类别的注意力的目标检测方法、装置及介质

说明书

本发明提供一种基于图像和类别的注意力的目标检测方法、装置及介质，包括:构建神经网络模型；构建图像集；通过图像中物体的类别和每个类别包含物体数量，获得图像中每个类别的类别数量分布概率；通过每个类别所占据面积，获得图像中每个类别的面积分布概率；通过图像中物体数量和图像集中物体数量获得图像的物体数量分布概率；根据图像的物体数量分布概率和面积分布概率获得图像的注意力权重；根据图像中每个类别的类别数量分布概率和图像的注意力权重构建损失函数模型；通过图像集对神经网络模型和损失函数模型进行训练；采用训练后神经网络模型和损失函数模型对新图像进行目标检测。上述方法及装置在不增加任何训练参数的前提下提高检测精度。

技术领域

本发明涉及图像处理技术领域，更为具体地，涉及一种基于图像和类别的注意力的目标检测方法、装置及介质。

背景技术

近年来，基于深度学习的目标检测取得了巨大的进步。当前最新的目标检测网络在各个方面都对基础检测模型做出了改进，而大多数的改进方法都增加了网络的计算量和复杂程度。在目标检测网络中，还存在物体类别极度不平衡和难易图像数量差异巨大的问题。这两种问题共同作用，导致模型训练时不能关注重要的类别和图像，从而误导网络，损害检测精度。物体类别不平衡即目标检测数据集中不同的物体种类具有的实例数量不同。而难易图像不平衡是指在常见的目标检测数据集中，大量的图像属于简单图像，简单图像对网络训练时的贡献比较小。

深度学习注意力机制主要包含位置注意力和通道注意力。位置注意力方法给不同的特征图位置分配不同的权重，从而就能关注图片中的重要区域。而通道注意力方法考虑到不同的特征图通道具有不同的重要性，给不同的通道分配不同的权重。这两种常见的注意力方法都是特征图层次的，没有将图像和物体类别纳入考虑。因此，人们开始考虑对注意力机制进行扩展。

Peng在2020年提出了一种使用深度学习分类网络来实现图像注意力机制的方法。这种方法使用额外的分类网络来计算图片中某一区域或者整张图片的重要性，从而在检测网络训练时关注复杂的区域和图片。虽然这种方法在精度上有比较大的提高，但是其训练过程复杂，需要使用分类网络来对同一张图片进行处理。而且它们为了得到更准确的区域重要性，引入了一个动态更新的网络分支，这导致了额外的参数和计算量，因此网络训练时间和推理时间相比基准算法也有了一定的增加。

目前比较常见的目标检测模型通常实现过程复杂，相比基准模型而言，引入大量计算参数，从而减缓训练速度和推理速度。

发明内容

鉴于上述问题，本发明的目的是提供一种在不增加任何训练参数的前提下提高目标检测检测精度的基于图像和类别的注意力的目标检测方法、系统、电子设备及介质。

根据本发明的一个方面，提供一种基于图像和类别的注意力的目标检测方法，包括:

构建神经网络模型，所述神经网络模型用于检测图像中物体的分类概率及其位置的定位偏移的预测值；

构建图像集，所述图像集用于存储已经确定物体类别及其定位偏移的图像；

通过图像中物体的类别和每个类别包含的物体数量，获得所述图像中每个类别的类别数量分布概率；

通过每个类别所占据的面积，获得所述图像中每个类别的面积分布概率；

通过图像中物体数量和图像集中物体数量获得图像的物体数量分布概率；

根据图像的物体数量分布概率和面积分布概率获得所述图像的注意力权重；

根据图像中每个类别的类别数量分布概率和图像的注意力权重构建损失函数模型；

通过图像集对神经网络模型和损失函数模型进行训练；

采用训练后的神经网络模型和损失函数模型对新图像进行目标检测，获得新图像中物体的分类概率及其位置的定位偏移的预测值。

可选地，还包括：