[发明专利]轻追踪：用于在线自顶向下人体姿态追踪的系统和方法

说明书

一种用于姿态追踪的系统和方法，特别是用于自顶向下的在线多人姿态追踪。系统包括：计算设备，包括处理器和存储有计算机可执行代码的存储设备，其中，计算机可执行代码在处理器处执行时被配置为：提供视频的多个连续帧，多个连续帧包括至少一个关键帧和多个非关键帧；对于多个非关键帧中的每个非关键帧：接收从先前帧推断出的对象的先前推断边界框；在先前推断边界框所定义的区域中，从非关键帧估计关键点，以获得估计的关键点；基于估计的关键点，确定对象状态，其中，对象状态包括“追踪到”状态和“丢失”状态；以及当对象状态为“追踪到”时，基于估计的关键点，推断推断边界框，以处理非关键帧的下一帧。

交叉引用

在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在本说明书中引用和讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。

技术领域

本公开涉及人体姿态追踪，具体地，涉及用于在线自顶向下人体姿态追踪的通用轻量级框架。

背景技术

在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，发明人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本公开的现有技术。

姿态追踪是一种任务，用于估计视频中的多人人体姿态并为跨帧的每个关键点分配唯一实例ID。人体关键点轨迹的准确估计对于人体动作识别、人的交互理解、动作捕捉和动画等很有用。最近，公开可用的姿态-追踪(Pose-Track)数据集和MPII视频姿态(MPIIVideo Pose)数据集将人体运动分析的研究推向了现实世界的场景，并且已经举行了两次姿态追踪挑战。然而，大多数现有方法都是离线的，因此缺乏实时的潜力。

因此，在本领域中存在解决上述缺陷和不足的需要。

发明内容

在某些方面，本公开涉及一种用于姿态追踪的系统，特别是用于自顶向下的多人在线姿态追踪的系统。所述系统包括计算设备，所述计算设备包括处理器和存储有计算机可执行代码的存储设备。所述计算机可执行代码在所述处理器处执行时被配置为：

提供视频的多个连续帧，所述连续帧包括至少一个关键帧和多个非关键帧；

对于所述多个非关键帧中的每个非关键帧：接收从先前帧推断出的对象的先前推断边界框；在所述先前推断边界框所定义的区域中，从所述非关键帧估计关键点，以获得估计的关键点；基于所述估计的关键点，确定对象状态，其中，所述对象状态包括“追踪到”状态和“丢失”状态；以及当所述对象状态为“追踪到”时，基于所述估计的关键点，推断推断边界框，以处理所述非关键帧的下一帧。

在某些实施例中，所述计算机可执行代码被配置为使用卷积神经网络从所述非关键帧估计关键点。

在某些实施例中，当所述估计的关键点具有大于阈值分数的平均置信度时，所述对象状态为“追踪到”，当所述估计的关键点具有小于或等于所述阈值分数的平均置信度时，所述对象状态为“丢失”。

在某些实施例中，所述计算机可执行代码被配置为通过以下方式推断所述推断边界框：定义包围所述估计的关键点的包围框；以及将所述包围框沿所述包围框的水平方向和垂直方向分别放大20％。

在某些实施例中，所述计算机可执行代码还被配置为，当所述对象状态为“丢失”时：从所述非关键帧中检测对象，其中，每个检测到的对象由检测的边界框定义；从每个检测的边界框估计关键点，以获得检测的关键点；通过将所述检测到的对象的所述检测的关键点与存储的对象的存储的关键点进行比较，来识别每个所述检测到的对象，每个所述存储的对象具有对象标识ID；以及当所述检测的关键点与来自所述存储的对象中对应对象的所述存储的关键点相匹配时，为所述检测到的对象分配所述存储的对象中对应对象的所述对象ID。