[发明专利]一种基于图卷积的目标检测后处理方法及装置

权利要求书

1.一种基于图卷积的目标检测后处理方法，其特征在于，该方法具体包括如下步骤：

步骤1，训练阶段：训练得到图卷积神经网络模型；

(1)筛选出最佳匹配的预测框；

对于每张训练图片，将目标检测模型预测出的且经过类别得分阈值过滤后的矩形框集合记为B＝{b₁,b₂,…,b_n}，将图片中所有真实目标的矩形框集合记为G＝{g₁,g₂,…,g_m}；

使用集合B和集合G构造带权重的二分图，集合B中顶点b_i和集合G中顶点g_i之间连线的权重定义为：b_i和g_j之间的IoU(b_i,g_j)值，i∈{1,2，……n}，j∈{1,2，……m}；

使用KM算法求解出最佳匹配，使得匹配结果的权重值最大，最佳匹配结果中，属于集合B中的元素集合记为B'＝{b'₁,b'₂,…,b'_r}，r≤m；

(2)使用图卷积预测最佳匹配的矩形框集合B'；

对于每张训练图片，将目标检测模型预测出的且经过类别得分阈值过滤后的矩形框集合记为B＝{b₁,b₂,…,b_n}，集合B自身也可以构造成图记为图P，图P中的结点集合记为V＝{v₁,v₂,…,v_n}，集合V元素的数量和集合B元素的数量一致，且对于集合V中的任意元素v_i，其初始特征向量为目标检测模型预测矩形框b_i的对应特征向量；图P中所有结点组成特征矩阵H，H∈R^n×p，其中n为结点的数量，p为目标检测模型预测矩形框位置的特征向量的维度；

图P中的结点两两互相连接，构成图P的边的集合E＝{e₁,e₂,…,e_k}，其中k＝n²；描述图P的邻接矩阵A，A∈R^n×n，邻接矩阵A中的元素代表结点和结点之间的边，其取值为矩形框和矩形框之间的IoU值：

定义多层图卷积神经网络，网络的层数记为L，每层图卷积的操作定义为H^l+1＝σ(AH^lW^l)，H^l为第l层的特征矩阵，W^l为第l层的权重矩阵，σ为激活函数，

图P经过多层图卷积操作之后，得到图P'，对于图P'中的每个结点v'_i，如果其对应的矩形框b_i∈B',其类别设置为1，表示该结点对应的矩形框需要保留，否则其类别设置为0，表示该结点对应的矩形框不需要保留；对图G'中的每个结点，使用softmax函数，计算cross-entropy损失，使用优化函数，训练图卷积神经网络模型，直至模型收敛,得到训练好的图卷积神经网络模型；

步骤2，预测阶段

对于每张检测图片，将目标检测模型预测出的且经过类别得分阈值过滤后的矩形框集合记为B＝{b₁,b₂,…,b_n}，将B构造为图，记为图P₁，其构造方式和步骤1(2)中构造方式相同；使用训练好的图卷积神经网络模型，对于图P₁进行前向推导，得到图P'₁；对于图G'₁中的任意结点v'_i，如果其预测类别为1的得分大于预先设定的阈值，则保留该结点对应的矩形框b_i,所有保留的矩形框集合即是最终的输出结果。

2.根据权利要求1所述的一种基于图卷积的目标检测后处理方法，其特征在于，所述激活函数采用ReLU函数。

3.根据权利要求2所述的一种基于图卷积的目标检测后处理方法，其特征在于，所述优化函数，使用SGD优化函数或Adam优化函数。

4.一种基于图卷积的目标检测后处理装置，其特征在于，该装置可以实现或执行权利要求1-3任一项所述的一种基于图卷积的目标检测后处理方法。