[发明专利]一种视频中人体姿态估计与跟踪方法及系统

说明书

本公开提供了一种视频中人体姿态估计与跟踪方法及系统，包括：采集人体姿态估计数据集中的视频数据；通过人体姿态估计网络模型对视频数据中每帧图像进行人体姿态估计获得估计数据，并通过光流估计算法获取相邻帧间光流估计结果；将N帧估计数据以及其中相邻帧间光流估计结果，共N+(N‑1)个参数输入到改进的CNN网络模型中进行人体姿态跟踪训练，并基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据；可对视频中人体快速运动时造成图像模糊姿态估计不准确进行有效改善，提高视频中人体姿态估计与跟踪准确度。

技术领域

本公开涉及图像处理与计算机视觉领域，具体涉及一种结合光流估计的视频中人体姿态估计与跟踪方法模型。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成现有技术。

近年来，基于深度学习的人体姿态估计基础上，多人姿态估计、人体行为识别等课题的研究逐渐成为研究热点，特别是在虚拟现实、视频分析、身份鉴别、体感交互、人机互动、智能监控、医疗诊断等领域中有广泛的应用前景，深度学习方法已经成为人们日常使用的工具。随着计算机视觉学界从图像理解转向视频理解，互联网用户从发布图片朋友圈转向发布短视频，人们对视频的研究和应用的关注不断增强，光流估计作为视频理解的隐形战士，能够为我们提供新的思路。

虽然，目前对静止图像人体姿态估计的研究取得了很大的成功，但是对于视频类的人体姿态跟踪仍然是一个具有挑战性的课题。对基于结合光流估计算法的视频中人体姿态跟踪方法研究还比较少，大多是研究人体动作识别，并进行分类，很少考虑光流估计算法如何为2D人体姿态跟踪提供指导帮助。然而，结合光流估计的视频中人体姿态跟踪方法研究不仅涉及深度学习、基于图像人体姿态估计等问题，而且所采用的光流估计算法进行每一帧图像之间运动量估计过程以及将二者相结合的模型较为复杂，因此综合考虑这部分研究的文献较少。

综上所述，人体关节点跟踪作为一个新兴的研究领域，如何实现高精度的估计人体关节轨迹，完成姿态估计与追踪是急需要解决的技术问题。

发明内容

为了解决上述问题，本公开提出了一种视频中人体姿态估计与跟踪方法及系统，具体提供了一种结合光流估计的视频中人体姿态估计与跟踪方法模型以准确估计人体关节点轨迹，完成姿态估计与跟踪。

第一方面，本公开提供了一种视频中人体姿态估计与跟踪方法，包括：

采集人体姿态估计数据集中的视频数据；

通过人体姿态估计网络模型对视频数据中每帧图像进行人体姿态估计获得估计数据，并通过光流估计算法获取相邻帧间光流估计结果；

将估计数据以及相邻帧间光流估计结果输入到改进的CNN网络模型中进行人体姿态跟踪训练，并基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据。

第二方面，本公开提供了一种视频中人体姿态估计与跟踪系统，包括：

数据采集模块，被配置为采集人体姿态估计数据集中的视频数据；

数据处理模块，被配置为通过人体姿态估计网络模型对视频数据中每帧图像进行人体姿态估计获得估计数据，并通过光流估计算法获取相邻帧间光流估计结果；

数据修正模块，被配置为将估计数据以及相邻帧间光流估计结果输入到改进的CNN网络模型中进行人体姿态跟踪训练，并基于损失函数约束进行重叠帧修正输出准确的人体估计姿态与跟踪数据。

第三方面，本公开提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如第一方面所述的视频中人体姿态估计与跟踪方法。

第四方面，本公开提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如第一方面所述的视频中人体姿态估计与跟踪方法。