[发明专利]一种基于图卷积的目标检测后处理方法及装置

说明书

本发明公开了一种基于图卷积的目标检测后处理方法及装置，该方法具体包括如下步骤：步骤1，训练阶段：训练得到图卷积神经网络模型；（1）筛选出最佳匹配的预测框；（2）使用图卷积预测最佳匹配的矩形框集合；步骤2，预测阶段：对于每张检测图片，将目标检测模型预测出的且经过类别得分阈值过滤后的矩形框集合记为B，将B构造为图，使用训练好的图卷积神经网络模型，如果其预测类别为1的得分大于预先设定的阈值，则保留该结点对应的矩形框,所有保留的矩形框集合即是最终的输出结果。通过使用图卷积操作替代操作，不需要预先设置的阈值，利用了矩形框自身的特征信息，以及矩形框的上下文信息，可以很大程度提升目标检测模型的后处理性能。

技术领域

本发明涉及图像识别研究领域，尤其是目标检测领域和深度学习领域，具体涉及一种基于图卷积的目标检测后处理方法及装置。

背景技术

目标检测模型的后处理阶段包含两个步骤，首先滤除类别得分低于阈值的预测结果，之后使用操作过滤重叠的矩形框，得到最终的目标检测预测结果。由于操作只使用了矩形框的位置信息，很容易受到预先设置阈值的影响，如果阈值过大，容易导致在同一个目标上输出多个矩形框，降低了准确率，如果阈值过小，容易导致相邻的两个目标只输出一个矩形框，降低了召回率。

发明内容

为了克服现有技术的不足，本发明提供了一种基于图卷积的目标检测后处理方法及装置，可以很大程度提升目标检测模型的后处理性能。技术方案如下：

本发明提供了一种基于图卷积的目标检测后处理方法，该方法具体包括如下步骤：

步骤1，训练阶段：训练得到图卷积神经网络模型；

(1)筛选出最佳匹配的预测框；

对于每张训练图片，将目标检测模型预测出的且经过类别得分阈值过滤后的矩形框集合记为B＝{b₁,b₂,…,b_n}，将图片中所有真实目标的矩形框集合记为G＝{g₁,g₂,…,g_m}。

使用集合B和集合G构造带权重的二分图，集合B中顶点b_i和集合G中顶点gi之间连线的权重定义为：b_i和g_j之间的IoU(b_i,g_j)值，i∈{1,2，……n}，j∈{1,2，……m}。

使用KM算法求解出最佳匹配，使得匹配结果的权重值最大，最佳匹配结果中，属于集合B中的元素集合记为B'＝{b'₁,b'₂,…,b'_r}，r≤m。

(2)使用图卷积预测最佳匹配的矩形框集合B'；

对于每张训练图片，将目标检测模型预测出的且经过类别得分阈值过滤后的矩形框集合记为B＝{b₁,b₂,…,b_n}，集合B自身也可以构造成图记为图P，图P中的结点集合记为V＝{v₁,v₂,…,v_n}，集合V元素的数量和集合B元素的数量一致，且对于集合V中的任意元素v_i，其初始特征向量为目标检测模型预测矩形框b_i的对应特征向量。图P中所有结点组成特征矩阵H，H∈R^n×p，其中n为结点的数量，p为目标检测模型预测矩形框位置的特征向量的维度。

图P中的结点两两互相连接，构成图P的边的集合E＝{e₁,e₂,…,e_k}，其中k＝n²；描述图P的邻接矩阵A，A∈R^n×n，邻接矩阵A中的元素代表结点和结点之间的边，其取值为矩形框和矩形框之间的IoU值：