[发明专利]一种轻量型的多人姿态跟踪方法

说明书

一种轻量型的多人姿态跟踪方法，包括如下步骤：步骤一，设计轻量化目标检测器；步骤二，构建轻量化多目标跟踪器；步骤三，搭建轻量化人体姿态估计器；步骤四，将轻量化多目标跟踪器和轻量化人体姿态估计器进行并联；步骤五，对模型进行训练及测试。本发明在保证检测速度的前提下，获得更理想的检测精度，满足实际作业中的实时性需求；改善目标部分遮挡、运动模糊等情况下的目标检测质量，继而获得更好的跟踪效果；获取跟踪目标人体的边界框位置信息的同时检测人体各个关键点的位置，实现对多人姿态的轻量化跟踪。

技术领域

本发明涉及一种轻量化进行多人姿态跟踪的方法。

技术背景

作为人工智能范畴最重要的前沿分支之一的机器视觉技术在深度学习强大的表示学习的能力、高超的GPU并行计算能力以及海量的带标签数据资源的加持下在人机协同、模式识别等诸多领域得到了广泛的应用研究，与之相关的一个重要研究方向是对基于视频的多人姿态跟踪进行研究。目前大多数的多目标跟踪模型都是遵循本质上目标检测和目标跟踪相剥离的tracking-by-detection范式或者joint detection and tracking范式设计而成，研发一种联合检测和跟踪的端到端的多目标跟踪模型能使得目标检测结果与目标跟踪结果相辅相成，得到更优的识别效果。此外，视频数据比图像数据多了时间维度的信息，这也使得基于视频的多人姿态跟踪模型的计算量更为庞大，所以研发一种轻量型的多人姿态跟踪方法显得格外重要。

发明内容

针对上述问题，本发明提出一种轻量型的多人姿态跟踪方法。

本发明首先对传统CenterNet进行了轻量化改进，以此得到轻量化目标检测器，从而快速确定输入的视频帧序列中人体动作的起始帧，以及确定视频画面中人体的位置信息，为后续的轻量化人体姿态跟踪器提供跟踪目标区域。然后构建轻量化多目标跟踪器，该模型主要由数据关联模块和特征传递模块两部分组成，其中先通过数据关联模块中由DLA-34网络和三层3×3Conv构成的特征提取网络逐点提取Re-ID嵌入特征来构造代价量；然后利用代价量推测跟踪目标的偏移距离，此处获取的跟踪偏移量会把图中的所有特征整合并用于数据关联；接着通过构造基于运动指导的特征传递模块把跟踪偏移量视为运动线索将目标特征从前一帧传递到当前帧，被传递的特征会与当前帧的特征进行合并，以此提高当前的目标检测特征，实现通过目标跟踪信息来指导检测，检测结果有效地反馈给跟踪器的目的；最后将增强后的特征传入检测头网络，检测头网络由目标中心预测子网络、中心点偏移预测子网络、边界框预测子网络以及位移预测子网络四部分组成，其中目标中心预测子网络输出关键点热点图用于预测目标中心点可当作目标关键点的概率，中心点偏移预测子网络输出中心点由于下采样而带来的局部位置信息的偏移误差，边界框预测子网络输出预测目标对象的尺寸，而位移预测子网络则用以数据关联，即用来计算当前帧与过去帧之间的时空位移。接着搭建轻量化人体姿态估计器，这里使用自上而下的人体关键点检测算法，即先利用目标检测模型得到精确的人体边界框，然后采用基于目标中心点的人体关键点检测方法来定位目标人体的关键点。紧接着将轻量化多目标跟踪器和轻量化人体姿态估计器进行并联，把目标检测器输出的视频帧图像作为模型的输入，得到每一帧图像中每个人体的13个关键点坐标值，实现对人体姿态的跟踪。最后使用训练集对模型进行训练，根据损失函数的收敛情况来调试模型的参数，防止梯度震荡，使用测试集对模型进行测试，判断模型的识别精度和识别速度，循环往复，完成模型的学习与修改，得到鲁棒性强的模型。

为了实现上述目的，本发明采用以下技术方案：

一种轻量型的多人姿态跟踪方法，包括如下步骤：

步骤一，设计轻量化目标检测器；