[发明专利]一种骨架检测跟踪方法、装置及电子设备

权利要求书

1.一种骨架检测跟踪方法，其特征在于，包括如下步骤：

S10、获取对齐的二维图像和深度图像，将所述二维图像输入预设2D骨架网络分别获得人体关键点坐标和第一特征图；

S20、将所述深度图像输入预设深度跟踪特征提取网络，获得深度特征图；

S30、根据所述人体关键点坐标，从所述第一特征图和所述深度特征图中分别获得2D骨架特征向量序列和深度骨架特征向量序列；

S40、利用所述2D骨架特征向量序列、所述深度骨架特征向量序列及预设的各对应的骨架序列样本进行匹配计算，获取目标2D骨架序列。

2.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述预设2D骨架网络包括主干网络、关键点检测分支网络和2D跟踪特征分支网络，所述关键点检测分支网络和所述2D跟踪特征分支网络共用所述主干网络。

3.如权利要求2所述的骨架检测跟踪方法，其特征在于，步骤S10包括：

将所述二维图像输入所述主干网络，获取所述二维图像中的人体检测框；

根据所述人体检测框，通过所述关键点检测分支网络进行人体骨架关键点检测，获得人体关键点坐标；

根据所述人体检测框，通过所述2D跟踪特征分支网络提取特征，得到第一特征图。

4.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述步骤S20中，所述深度跟踪特征提取网络采用单通道卷积核对所述深度图像进行特征提取，得到深度特征图，其中，所述单通道卷积核大小为n×n×1。

5.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述步骤S30包括：

根据所述人体关键点坐标获取所述人体关键点的边界框坐标信息；

将所述第一特征图、所述深度特征图及所述边界框坐标信息输入预设感兴趣区域池化层；

所述预设感兴趣区域池化层将所述边界框坐标信息映射到所述第一特征图和所述深度特征图，获得所述第一特征图及所述深度特征图上所述人体关键点边界框的特征值；

基于所述第一特征图及所述深度特征图的边界框提取所述边界框中每个关键点的特征值，并变换为固定大小长度的特征；

将所述第一特征图及所述深度特征图各个关键点对应的固定大小的特征分别对应组成所述2D图像骨架特征向量序列及所述深度骨架特征向量序列。

6.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述步骤S40包括，利用2D骨架特征向量、深度骨架特征向量及预设的各对应的骨架序列样本进行置信度计算，获取关键点匹配对应的目标2D骨架序列；其中，计算公式为：

其中，x，y分别为提取的2D骨架特征向量和深度骨架特征向量，fi、f_i′为对应的骨架序列样本特征向量，为匹配加权系数。

7.一种骨架检测跟踪装置，其特征在于，包括：

图像获取模块，用于获取对齐的二维图像和深度图像；

2D骨架网络模块，用于根据输入的所述二维图像进行关键点检测以及特征提取，分别获得人体关键点坐标和第一特征图；

深度跟踪特征网络模块，用于根据输入的所述深度图像提取深度特征，得到深度特征图；

特征向量序列获取模块，用于根据所述人体关键点坐标，从所述第一特征图和所述深度特征图中分别获得2D骨架特征向量序列和深度骨架特征向量序列；

目标骨架获取模块，用于利用所述2D骨架特征向量序列、所述深度骨架特征向量序列及各对应的骨架序列样本进行匹配计算，获取目标2D骨架序列。

8.一种电子设备，其特征在于，包括处理器、存储器、网络接口以及显示屏；其中，所述处理器用于提供计算和控制能力；所述存储器存储有操作系统和计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的骨架检测跟踪方法。

9.如权利要求8所述的电子设备，其特征在于，还包括采集装置，所述采集装置可以采集二维图像及深度图像，所述处理器利用所述二维图像及所述深度图像实现权利要求1-6任一项所述的骨架检测跟踪方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的骨架检测跟踪方法。