[发明专利]轻追踪：用于在线自顶向下人体姿态追踪的系统和方法

权利要求书

1.一种用于姿态追踪的系统，包括：

计算设备，包括处理器和存储有计算机可执行代码的存储设备，其中，所述计算机可执行代码在所述处理器处执行时被配置为：

提供视频的多个连续帧，所述连续帧包括至少一个关键帧和多个非关键帧；

对于所述多个非关键帧中的每个非关键帧：

接收从先前帧推断出的对象的先前推断边界框；

在所述先前推断边界框所定义的区域中，从所述非关键帧估计关键点，以获得估计的关键点；

基于所述估计的关键点，确定对象状态，其中，所述对象状态包括“追踪到”状态和“丢失”状态；以及

当所述对象状态为“追踪到”时，基于所述估计的关键点，推断推断边界框，以处理所述非关键帧的下一帧。

2.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为使用卷积神经网络从所述非关键帧估计关键点。

3.根据权利要求1或2所述的系统，其中，当所述估计的关键点具有大于阈值分数的平均置信度时，所述对象状态为“追踪到”，当所述估计的关键点具有小于或等于所述阈值分数的平均置信度时，所述对象状态为“丢失”。

4.根据权利要求1至3中任一项所述的系统，其中，所述计算机可执行代码被配置为通过以下方式推断所述推断边界框：

定义包围所述估计的关键点的包围框；以及

将所述包围框沿所述包围框的水平方向和垂直方向分别放大20％。

5.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为，当所述对象状态为“丢失”时：

从所述非关键帧中检测对象，其中，每个检测到的对象由检测的边界框定义；

从所述检测的边界框中对应的边界框估计每个检测到的对象的关键点，以获得检测的关键点；

通过将所述检测到的对象的所述检测的关键点与存储的对象的存储的关键点进行比较，来识别每个所述检测到的对象，每个所述存储的对象具有对象标识ID；以及

当所述检测的关键点与来自所述存储的对象中对应对象的所述存储的关键点相匹配时，为所述检测到的对象分配所述存储的对象中对应对象的所述对象ID。

6.根据权利要求5所述的系统，其中，所述计算机可执行代码被配置为使用卷积神经网络检测对象。

7.根据权利要求5所述的系统，其中，所述计算机可执行代码被配置为使用卷积神经网络来估计所述关键点。

8.根据权利要求5所述的系统，其中，所述将所述检测到的对象的所述检测的关键点与所述存储的关键点进行比较的步骤是使用孪生图卷积网络SGCN执行的，所述SGCN包括具有共享网络权重的两个图卷积网络GCN，每个所述GCN包括：

第一图卷积网络GCN层；

第一Relu单元，连接到所述第一GCN层；

第二GCN层，连接到所述第一Relu单元；

第二Relu单元，连接到所述第二GCN层；

平均池化层，连接到所述第二GCN层；

全连接网络FCN；以及

特征向量转换层，

其中，所述第一GCN层被配置为接收所述检测到的对象之一的检测的关键点，所述特征向量转换层被配置为产生表示所述检测到的对象之一的姿态的特征向量。

9.根据权利要求8所述的系统，其中，所述SGCN被配置为通过以下方式执行所述比较的步骤：

通过所述两个GCN中的一个GCN来运行估计的关键点，以获得针对估计的关键点的估计特征向量；

通过所述两个GCN中的另一个GCN来运行所述存储的对象之一的存储的关键点，以获得针对所述存储的关键点的特征向量；以及

当所述估计特征向量和存储的特征向量之间的距离小于预定阈值时，确定所述估计的关键点与所述存储的关键点相匹配。