[发明专利]一种视频中人体姿态估计与跟踪方法及系统

权利要求书

1.一种视频中人体姿态估计与跟踪方法，其特征在于，包括：

采集人体姿态估计数据集中的视频数据；

通过人体姿态估计网络模型对视频数据中每帧图像进行人体姿态估计获得估计数据，并通过光流估计算法获取相邻帧间光流估计结果；

将估计数据以及相邻帧间光流估计结果输入到改进的CNN网络模型中进行人体姿态跟踪训练，并基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据；

其中，基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据包括，在CNN网络模型中添加损失函数进行重叠帧一致性矫正，当不同片段连续n帧输入时且n≧2，获得损失函数在欧氏距离上达到最小的估计数据。

2.如权利要求1所述的视频中人体姿态估计与跟踪方法，其特征在于，还包括对视频数据进行预处理，将视频数据进行预处理获取单帧图像，并对单帧图像进行图像预处理获得预处理后的每帧图像。

3.如权利要求2所述的视频中人体姿态估计与跟踪方法，其特征在于，视频数据采集并进行预处理，将视频数据转换为帧序列的形式，得到图像序列并进行图像预处理，进行取均值、归一化、缩放和裁剪。

4.如权利要求1所述的视频中人体姿态估计与跟踪方法，其特征在于，通过人体姿态估计网络模型对视频数据中每帧图像进行人体姿态估计获得估计数据，包括将某帧图像压缩到对应CNN网络模型的输入尺寸，调用目标检测获得该帧中各个目标的检测框，利用人体姿态估计深度学习模型将该帧中所有人体的关节点检测出来并定位，生成姿态估计数据。

5.如权利要求1所述的视频中人体姿态估计与跟踪方法，其特征在于，通过光流估计算法获取相邻帧间光流估计结果包括，先将预处理后的图像序列提取特征点，把相邻两帧图像中每个像素的运动速度和运动方向计算出来，估计对应特征点的运动矢量。

6.如权利要求5所述的视频中人体姿态估计与跟踪方法，其特征在于，对第-1帧、第帧图像进行预处理，将两帧图像联系在一起作为网络输入，通过卷积层和池化后提出特征，再经过提炼模块、向后反卷积和预测得到结果，把结果双线性插值，关联在反卷积后的特征图上，输入光流预测图，进而估计对应特征点的运动变化获得相邻帧间光流估计结果。

7.一种视频中人体姿态估计与跟踪系统，其特征在于，包括：

数据采集模块，被配置为采集人体姿态估计数据集中的视频数据；

数据处理模块，被配置为通过人体姿态估计网络模型对视频数据中每帧图像进行人体姿态估计获得估计数据，并通过光流估计算法获取相邻帧间光流估计结果；

数据修正模块，被配置为将估计数据以及相邻帧间光流估计结果输入到改进的CNN网络模型中进行人体姿态跟踪训练，并基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据；

其中，基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据包括，在CNN网络模型中添加损失函数进行重叠帧一致性矫正，当不同片段连续n帧输入时且n≧2，获得损失函数在欧氏距离上达到最小的估计数据。

8.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成如权利要求1-6任一所述的视频中人体姿态估计与跟踪方法。

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6任一所述的视频中人体姿态估计与跟踪方法。