[发明专利]一种基于双向序列化建模的人体姿态估计方法

说明书

本发明公开了一种基于双向序列化建模的人体姿态估计方法，以连续的3帧作为输入，充分利用视频的时序信息计算每个关节的大致空间范围，然后从更小的范围内回归关节的具体位置，从而更好地解决人体姿态估计任务中固有的遮挡、运动模糊等问题，使得模型的泛化性更强，具有更高的准确率。本发明充分利用了视频的时序信息，增强了模型的推理能力，能够更好地对人体关键部位进行估计，在安防、短视频平台等需要实时抽取姿态进行分析的行业具有重要意义。

技术领域

本发明属于人体姿态估计技术领域，具体涉及一种基于双向序列化建模的人体姿态估计方法。

背景技术

人体姿态估计是计算机视觉中的一项前沿研究领域，它的目标在于定位出图片或视频中的人体关键部位(如手腕、脚踝)，从而实现人体姿态估计。人体姿态估计是沟通机器与人之间的桥梁，具有重大的实际意义，已经广泛应用于很多领域，例如舞台动画领域，通过识别人的姿态动作可以产生实时可交互的动画效果；自动驾驶领域，通过预测行人的运动趋势可以提前避免车祸的发生；安防领域，通过识别特定的姿态序列可以检测异常行为。

目前，人体姿态估计方法主要分为两类：(1)自顶向下，首先检测出图片中所有的人体位置，通常用矩形边界框标注人体；然后通过人体关节部位检测器识别每个人体的关节；接着利用仿射变换把裁剪后的人物姿态信息映射回原始图片，从而实现图片中所有人体姿态估计。自顶向下的方法将人物位置检测任务与人体关节检测任务分离，集中于姿态估计方法本身，因而具有较高的准确率，但是花费的检测时间与图片中人物数量呈正相关，并且该方法需要使用目标检测技术，位置坐标的检测质量将会直接影响姿态估计的最终结果。(2)自底向上，首先检测出图片中所有人体的关节位置信息，然后把属于同一个人的关节坐标进行聚类，从而对图片中所有人体进行姿态估计。自底向上的方法效率较高，检测时间受图片中人物数量影响较小，但准确率稍有落后。

上述主流的人体姿态估计方法包括自顶向下与自底向上都是针对于静态图片设计的网络架构，擅长于单帧图片中的人体姿态估计，用于视频时，通常是把视频分解为单帧，然后对每帧进行姿态估计，然而这些方法存在很大的局限性，即只能捕获单张图片的表观信息。一般情况下1帧即1/25秒，是非常短暂的，因此视频两帧之间图像不会发生非常大的变化，具有很高的相似性，由于视频相邻帧之间存在丰富的几何一致性，这种额外线索可以用于校正被遮挡或运动模糊等难以预测的关键点。

传统基于图片的姿态估计方法并无法有效利用对这些额外信息，导致其无法处理视频序列中经常发生的人物高度纠缠、互相遮挡、运动模糊等情况，因而在视频姿态估计中难以取得很好的结果。针对这一问题，文献[Flowing ConvNets for Human PoseEstimation in Videos-[CODE]–Pfister.T,Charles.JZisserman.A(ICCV 2015)]提出计算每两帧之间的稠密光流信息，然后使用基于流的时间信息来矫正初始的姿态估计；当光流能正确计算时，这种方法取得了很好的效果，然而光流的计算受图片质量、遮挡等影响很大，在视频中无法精确计算所有的光流信息，且光流信息的计算往往需要大量的算力支持。也有学者提出使用长短期记忆网络(Long Short-Term Memory，LSTM)直接对视频进行建模以捕获时序信息，然而由于LSTM网络本身架构限制，这种方法只有在视频帧中人物比较稀疏时才能取得比较好的效果，当用于复杂场景中时，依然无法处理遮挡、运动模糊等情况。

发明内容

鉴于上述，本发明提供了一种基于双向序列化建模的人体姿态估计方法，以连续的3帧作为输入，充分利用视频的时序信息计算每个关节的大致空间范围，然后从更小的范围内回归关节的具体位置，从而更好地解决人体姿态估计任务中固有的遮挡、运动模糊等问题，使得模型的泛化性更强，具有更高的准确率。

一种基于双向序列化建模的人体姿态估计方法，包括如下步骤：

(1)收集用于人体姿态估计的视频数据集并对其进行预处理；