[发明专利]用于目标检测的双路神经网络训练方法及图像处理方法

权利要求书

1.一种用于目标检测的双路神经网络训练方法，其特征在于，所述双路神经网络包括第一特征提取网络、第二特征提取网络、以及分别与所述第一特征提取网络和所述第二特征提取网络的输出连接的分类网络，所述方法包括：

获取样本图像的样本数据，所述样本数据包括样本图像的包围框集合中各包围框的图像特征信息，所述包围框集合中包括第一包围框集合和第二包围框集合，所述第一包围框集合和所述第二包围框集合由基于第一重叠率阈值的非极大值抑制方法对所述包围框集合进行分类处理得到，所述图像特征信息包括全连接层特征，所述第一包围框集合中的各第一包围框之间的重叠率大于所述第二包围框集合中的各第二包围框之间的重叠率；

在所述第一包围框集合的第三包围框集合中，确定各所述第二包围框的邻居包围框，所述第三包围框集合中的各第三包围框为包含一个目标对象的包围框，所述第三包围框集合为所述第一包围框集合的正样本中与基准包围框完全匹配的包围框，所述第一包围框集合中重叠率大于第二设定值的包围框为所述第一包围框集合的正样本，所述样本数据中还包括所述样本图像的基准包围框集合，所述基准包围框集合中的基准包围框为包含一个目标对象的包围框；

对于每个所述第二包围框，基于所述第二包围框的图像特征信息和所述第二包围框的邻居包围框的图像特征信息，确定各所述第二包围框相对于其每一个邻居包围框的第一特征向量；

将所述第一包围框的全连接层特征输入至所述第一特征提取网络，基于所述第一包围框的全连接层特征对所述双路神经网络进行训练，直至满足预设的第一训练结束条件，得到初步训练后的双路神经网络；

将所述第二包围框的全连接层特征作为所述初步训练后的双路神经网络的所述第一特征提取网络的输入，将所述第二包围框所对应的所有第一特征向量作为所述初步训练后的双路神经网络的所述第二特征提取网络的输入，对所述初步训练后的双路神经网络再次进行训练，直至满足预设的第二训练结束条件，得到训练好的双路神经网络。

2.根据权利要求1所述的方法，其特征在于，

所述在所述第一包围框集合的第三包围框集合中，确定出所述第二包围框集合中的各第二包围框的邻居包围框，包括：

将所述基准包围框中各所述基准包围框与所述第一包围框集合中的各第一包围框进行最优二分图匹配，得到所述第三包围框集合；

在所述第三包围框集合中，确定出所述第二包围框集合中的各第二包围框的邻居包围框。

3.根据权利要求2所述的方法，其特征在于，所述在所述第三包围框集合中，确定出所述第二包围框集合中的各第二包围框的邻居包围框，包括：

对于所述第二包围框集合中的各第二包围框，确定所述第二包围框与各所述第三包围框之间的重叠率，将所述第三包围框集合中，重叠率大于第二重叠率阈值的包围框作为所述第二包围框的邻居包围框。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述图像特征信息还包括几何特征，对于一个所述第二包围框，所述第二包围框相对于其一个邻居包围框的第一特征向量包括以下至少一项：

所述第二包围框的第一全连接层特征和所述邻居包围框的第二全连接层特征；

基于所述第二包围框的几何特征与所述邻居包围框的几何特征，确定的所述第二包围框与所述邻居包围框之间的相对位置特征向量；

基于所述第二包围框的几何特征和所述邻居包围框的几何特征，确定的所述第二包围框与所述邻居包围框之间的编码特征向量；

基于所述第二包围框和所述邻居包围框之间的重叠率，确定的所述第二包围框和所述邻居包围框之间的重叠率特征向量。

5.根据权利要求4所述的方法，其特征在于，所述第一特征向量包括所述第一全连接层特征、所述第二全连接层特征、所述相对位置特征向量、所述编码特征向量和所述重叠率特征向量；

所述第一特征向量为通过以下方式确定的：

将所述第一全连接层特征、所述第二全连接层特征、所述相对位置特征向量、所述编码特征向量、所述重叠率特征向量中的至少一个特征向量转换为设定维度的特征向量；

将转换为设定维度的特征向量进行拼接，得到所述第一特征向量。