[发明专利]用于使用卷积神经网络标识数字视频中的人体行为的方法、系统和介质

权利要求书

1.一种方法，其特征在于，所述方法包括：

接收帧序列中的帧的至少一个关键点位置集，所述至少一个关键点位置集包括在所述帧中检测到的人体的每个关键点的关键点位置，每个关键点位置对应于所述关键点在所述人体上的位置；

为所述帧的所述至少一个关键点位置集中的每个关键点位置生成编码表示；

将所述帧的所述至少一个关键点位置集中的每个关键点位置的所述编码表示提供给人体行为分类器，所述人体行为分类器包括机器学习模型，所述机器学习模型用于根据每个关键点位置集的所述编码表示来标识人体行为，并输出所标识的人体行为。

2.根据权利要求1所述的方法，其特征在于，还包括：

接收多个关键点位置集，每个关键点位置集对应于所述帧序列中的一个帧；

为所述多个关键点位置集中的每个关键点位置集生成编码表示；

将所述编码表示提供给所述人体行为分类器，所述人体行为分类器包括所述机器学习模型，所述机器学习模型用于根据所述多个编码表示标识人体行为，并输出所标识的人体行为。

3.根据权利要求2所述的方法，其特征在于，还包括：

接收所述帧序列；

处理所述帧序列中的每个相应帧，以生成对应于所述相应帧的所述关键点位置集。

4.根据权利要求3所述的方法，其特征在于，所述关键点位置集是使用关键点标识符生成的，所述关键点标识符用于：接收所述人体的边界框，所述边界框包括所述相应帧的多个像素的一个或多个像素值；处理所述边界框以标识所述边界框内的关键点，并为每个关键点生成关键点位置；生成关键点位置集，所述关键点位置集包括在所述帧中标识的每个关键点的所述关键点位置。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述编码表示是矩阵表示，所述机器学习模型是矩阵机器学习模型。

6.根据权利要求1至5中任一项所述的方法，其特征在于，每个关键点位置对应于所述人体的关节。

7.根据权利要求6所述的方法，其特征在于，每个编码表示包括：

X矩阵，具有所述关键点位置集中的所述多个关键点位置的多个X像素坐标，第一X像素坐标和第二X像素坐标基于分别对应于所述第一X像素坐标和所述第二X像素坐标的所述人体的第一关节与所述人体的第二关节之间的接近关系或移动关系相对于彼此位于所述矩阵内；

Y矩阵，具有所述关键点位置集中的所述多个关键点位置的多个Y像素坐标，第一Y像素坐标和第二Y像素坐标基于分别对应于所述第一Y像素坐标和所述第二Y像素坐标的所述人体的第一关节与所述人体的第二关节之间的接近关系或移动关系相对于彼此位于所述矩阵内。

8.根据权利要求7所述的方法，其特征在于，每个编码表示还包括：

Z矩阵，具有所述关键点位置集中的所述多个关键点位置的多个Z深度坐标，第一Z深度坐标和第二Z坐标基于分别对应于所述第一Z坐标和所述第二Z坐标的所述人体的第一关节与所述人体的第二关节之间的接近关系或移动关系相对于彼此位于所述矩阵内。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述编码表示是着色点表示，所述机器学习模型是着色点机器学习模型。

10.根据权利要求9所述的方法，其特征在于，每个编码表示包括简化帧，所述简化帧包括基于所述关键点位置集位于所述简化帧内的多个唯一关键点视觉表示。

11.根据权利要求10所述的方法，其特征在于：

每个唯一关键点视觉表示包括二维形状，所述二维形状具有相对于每个其它唯一关键点视觉表示的唯一颜色；

所述简化帧包括叠加在单色背景上的所述多个关键点视觉表示。