[发明专利]人机共存环境下基于视觉的多运动人体目标跟踪方法

摘要

人机共存环境下基于视觉的多运动人体目标跟踪方法，首先利用Mask R‑CNN模型对每帧图像进行目标检测与识别；在网络模型构建的过程中，对共享卷积层做剪枝操作，通过构造一个损失评估函数来衡量修剪前后的模型变化，过程中依次修剪每个非零卷积核，并记录损失评估函数值。根据每个卷积核的损失函数值对参数进行贡献度排序，删除贡献度低的参数；对修剪后的神经网络模型进行小型训练，微调神经网络参数；重复修剪与微调步骤，在达到指标后停止修剪。图像经Mask R‑CNN模型，输出图像中多运动人体的检测识别结果，包括代表人体目标的目标矩形框参数等。最后，利用目标矩形框的直方图特征，对上下帧图像进行目标匹配，完成多运动人体目标的跟踪。

主权项

1.人机共存环境下基于视觉的多运动人体目标跟踪方法，具体步骤如下：步骤1：构建压缩Mask R‑CNN模型；步骤2：进行图像序列中第k帧输入，并判断是否为初始帧；若为初始帧，则进入步骤3，若为非初始帧，则进入步骤4；步骤3：将当前帧k中检测到的多个人体目标分别标记ID；令k＝k+1，进入步骤2；步骤4：使用直方图特征匹配法，实现多人运动的跟踪；步骤5：k＝k+1，迭代步骤2；其中，步骤1中所述的构建压缩Mask R‑CNN模型，具体步骤如下：步骤1‑1：导入预训练好的大型Mask R‑CNN模型；步骤1‑2：使用Mask R‑CNN模型共享卷积层中的每一个激励函数输出和对应梯度值乘积之和作为模型代价函数C；步骤1‑3：依次修剪共享卷积层中的卷积核，即将该卷积核h_i赋值为0，计算修剪前后的损失ΔC(h_i)，作为贡献度排序指标；步骤1‑4：根据各卷积核h_i对应的损失ΔC(h_i)进行贡献度排序，修剪贡献度低的参数；步骤1‑5：对修剪后的模型，在数据集上重新进行小型的训练，完成神经网络模型的微调；步骤1‑6：将微调后的神经网络模型用于图像目标检测，判断各项指标是否达到预期目标；若是，结束剪枝；否则迭代步骤3；其中步骤4中所述直方图特征匹配，具体步骤如下：步骤4‑1：计算当前k帧中目标i的直方图特征向量与k‑1帧中所有目标j的直方图特征向量然后将目标i的与k‑1帧中所有目标j的直方图特征向量余弦相似度计算，得到j个相似度计算结果；由于彩色图片由R、G、B三色通道，且每一个通道以1X256维向量表示；因此，可用1X768维向量来描述任意像素点的颜色；按照行列搜索代表目标的矩形框，用n表示矩形框内任意一个像素点出现的次数，则第k帧中，目标i的直方图特征向量以目标矩形框的长L与宽W归一化后的特征向量可表示为：与的余弦相似度计算公式为：步骤4‑2：选取最大的余弦相似度MAX_O；若大于预先设定阈值，将目标i与MAX_O对应的k‑1帧目标标记为同一目标ID，进入步骤4‑4；否则进入步骤4‑3；步骤4‑3：判定目标i为区别于前一帧的新目标，并将新目标与用于记录一段时间内已丢失目标特诊参数的缓存区的各目标进行余弦相似度计算，选取计算结果中的最大值MAX_c；若大于预先设定阈值，将目标i标记为缓存区中对应的目标ID，否则标记新目标ID；步骤4‑4：判定当前k帧目标是否已全部标记完毕；若是，进入步骤4‑5；若k帧目标未全部标记完毕，令i＝i+1，迭代步骤4‑1；步骤4‑5：比较k帧与k‑1帧中的ID个数；若k帧中的ID个数小于k‑1帧，则将未被匹配来自k‑1帧的目标特征参数放入缓存区中。