[发明专利]神经网络的训练及目标检测方法、设备及存储介质

说明书

本公开提供神经网络的训练及目标检测方法、设备及存储介质。该训练方法包括：接收包含检测目标的训练图像，所述训练图像属于经标注的源域图像和未经标注的目标域图像中的一种；基于训练图像的外观特性和环境属性信息，生成所述训练图像的特征图；基于所述特征图，生成所述训练图像的注意力特征图；基于所述注意力特征图，预测所述训练图像是源域图像还是目标域图像，并预测所述检测目标的定位；以及基于对所述训练图像是源域图像还是目标域图像预测的损失和对所述检测目标的定位预测的损失来确定所述神经网络的整体损失，并根据该整体损失更新所述神经网络的参数。

技术领域

本公开涉及图像处理，更具体地，涉及用于目标检测的神经网络的训练方法及设备、基于神经网络的目标检测方法及设备以及存储介质。

背景技术

近年来，神经网络在图像处理领域中得到了广泛的应用，已成为在拍摄图像中进行目标检测的一种有效手段。在将神经网络应用于目标检测场景之前，通常需要利用大量训练数据对其训练，从而获得具有足够检测准确度的神经网络模型。

现有对用于目标检测的神经网络进行训练的方法通常需要大量带有人工标注的训练数据集，其通常难以获得并需要花费大量的人工标注工作，导致训练过程耗时耗力。另一方面，检测目标可能位于不同的环境中，而不同环境下对检测目标拍摄的图像会存在显著的偏差，从而导致基于某一环境下的拍摄图像而训练好的神经网络通常不能很好地泛化到新环境下的拍摄图像，对新环境的鲁棒性较差。

因此，需要一种基于神经网络的目标检测技术，其可以减少训练神经网络时所需的人工标注工作量，并且提高对新环境的泛化能力。

发明内容

根据本公开的一个方面，提供了一种用于目标检测的神经网络的训练方法，包括：接收包含检测目标的训练图像，所述训练图像属于经标注的源域图像和未经标注的目标域图像中的一种；基于训练图像的外观特性和环境属性信息，生成所述训练图像的特征图；基于所述特征图，生成所述训练图像的注意力特征图；基于所述注意力特征图，预测所述训练图像是源域图像还是目标域图像，并预测所述检测目标的定位；以及基于对所述训练图像是源域图像还是目标域图像预测的损失和对所述检测目标的定位预测的损失来确定所述神经网络的整体损失，并根据该整体损失更新所述神经网络的参数。

根据本公开的另一方面，提供了一种用于目标检测的神经网络的训练设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：接收包含检测目标的训练图像，所述训练图像属于经标注的源域图像和未经标注的目标域图像中的一种；基于训练图像的外观特性和环境属性信息，生成所述训练图像的特征图；基于所述特征图，生成所述训练图像的注意力特征图；基于所述注意力特征图，预测所述训练图像是源域图像还是目标域图像，并预测所述检测目标的定位；以及基于对所述训练图像是源域图像还是目标域图像预测的损失和对所述检测目标的定位预测的损失来确定所述神经网络的整体损失，并根据该整体损失更新所述神经网络的参数。

根据本公开的另一方面，提供了一种用于目标检测的神经网络的训练设备，包括：图像接收单元，配置为接收包含检测目标的训练图像，所述训练图像属于经标注的源域图像和未经标注的目标域图像中的一种；特征图生成单元，配置为基于训练图像的外观特性和环境属性信息，生成所述训练图像的特征图；注意力特征图生成单元，配置为基于所述特征图，生成所述训练图像的注意力特征图；预测单元，配置为基于所述注意力特征图，预测所述训练图像是源域图像还是目标域图像，并预测所述检测目标的定位；以及参数更新单元，配置为基于对所述训练图像是源域图像还是目标域图像预测的损失和对所述检测目标的定位预测的损失来确定所述神经网络的整体损失，并根据该整体损失更新所述神经网络的参数。

根据本公开的另一方面，提供了一种基于神经网络的目标检测方法，包括：接收输入图像；基于输入图像的外观特性和环境属性信息，利用所述神经网络生成所述输入图像的特征图；基于所述特征图，利用所述神经网络生成所述输入图像的注意力特征图；以及基于所述注意力特征图，利用所述神经网络对所述输入图像中的检测目标定位。