[发明专利]网络训练方法、处理方法、装置、存储介质和电子设备

说明书

本发明实施例提供一种网络训练方法、处理方法、装置、存储介质和电子设备。该训练方法包括：通过待训练的物体检测神经网络提取样本图像中物体的位置检测数据和方向检测数据以及物体方向分布预测向量，物体方向分布预测向量的各个元素分别指示样本图像含有处于所述元素对应的方向的物体的预测概率；确定位置标注数据和位置检测数据之间的第一差异和方向标注数据和方向检测数据之间的第二差异，并且根据方向标注数据和物体方向分布预测向量确定第三差异；至少根据第一差异、第二差异和第三差异调整物体检测神经网络的网络参数。基于多任务训练的物体检测神经网络的训练方法，得到提供图像中物体的位置、方向和图像中物体的方向分布数据。

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种神经网络的训练方法、图像处理方法、装置、计算机可读存储介质和电子设备。

背景技术

从图像或视频中检测出指定类别的物体是计算机视觉技术的一项重要任务。通常，需要先从图像或视频帧中提取可能含有物体的候选区域框，然后对提取出的候选区域框进行物体类别的识别。在此过程中，还可检测出物体的尺寸等信息。

发明内容

本发明实施例的目的在于，提供一种用于物体检测的神经网络的训练技术方案以及物体检测技术方案，以通过训练得到的用于物体检测的神经网络获取图像中出现的物体的方向和位置以及图像中物体方向分布的数据。

根据本发明实施例的第一方面，提供一种用于物体检测的神经网络的训练方法，包括：通过待训练的物体检测神经网络提取样本图像中物体的位置检测数据和方向检测数据，以及提取所述样本图像的物体方向分布预测向量，所述样本图像含有物体的位置标注数据和方向标注数据，所述物体方向分布预测向量的各个元素分别指示所述样本图像含有处于所述元素对应的方向的物体的预测概率；确定所述位置标注数据和所述位置检测数据之间的第一差异和所述方向标注数据和所述方向检测数据之间的第二差异，并且根据所述方向标注数据和所述物体方向分布预测向量确定第三差异；至少根据所述第一差异、第二差异和第三差异调整所述物体检测神经网络的网络参数。

可选地，所述物体检测神经网络为含有全局池化层的卷积神经网络；所述提取所述样本图像的物体方向分布预测向量，包括：从所述物体检测神经网络的全局池化层中提取物体方向分布预测向量。

可选地，所述根据所述方向标注数据和所述物体方向分布预测向量确定第三差异包括：根据所述方向标注数据为所述样本图像的物体方向分布预测向量生成检测监督数据，其中，对于所述物体方向分布预测向量的各个元素，如果所述方向标注数据指示含有所述元素对应的方向的物体，则为该元素生成正的监督标签；如果所述方向标注数据指示不含有所述元素对应的方向的物体，则为所述元素生成负的监督标签；根据所述检测监督数据和所述物体方向分布预测向量确定所述第三差异。

可选地，所述方向标注数据包括至少一个以下数据：物体相对于图像画面所在平面中标准方向的角度、物体在图像画面所处空间中的朝向、物体的特征点的平面坐标、物体的特征点的空间坐标。

可选地，所述样本图像还含有物体的尺寸标注数据，并且所述方法还包括：通过所述物体检测神经网络获取样本图像中物体的尺寸检测数据；确定所述尺寸标注数据和所述尺寸检测数据之间的第四差异；所述至少根据所述第一差异、第二差异和第三差异调整所述物体检测神经网络的网络参数包括：根据所述第一差异、第二差异、第三差异和第四差异调整所述物体检测神经网络的网络参数。

根据本发明实施例的第二方面，还提供一种图像处理方法，包括：根据用于物体检测的神经网络获取待处理的图像中物体的位置和方向以及全图物体方向分布数据的预测信息；根据所述物体的位置和方向以及全图物体方向分布数据的预测信息当中的一个或多个执行检测或控制操作。

可选地，所述用于物体检测的神经网络通过前述任一所述的训练方法训练获得。