[发明专利]一种移动端的多人人体骨架识别方法及装置

权利要求书

1.一种移动端的多人人体骨架识别方法，其特征在于，包括如下步骤：

S1.从视频中解码获取图像帧；

S2.从所述图像帧中识别出人体区域，生成人体子图；

S3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。

2.根据权利要求1所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S1中的图像帧包括关键帧和追踪帧；

所述关键帧为所述视频中的第一预定帧，所述追踪帧为所述视频中的第二预定帧；

或者：所述关键帧为根据预定的参考点，若当前图像帧中所述参考点相对于前一所述关键帧中所述参考点的位移大于预设阈值时，则当前图像帧为关键帧，否则当前图像帧为跟踪帧。

3.根据权利要求2所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S2具体包括：针对所述关键帧，通过细粒度人体识别模型识别人体区域，生成所述关键帧的人体子图；针对所述追踪帧，通过基于运动矢量的人体识别模型识别人体区域，生成所述追踪帧的人体子图。

4.根据权利要求1至3任一项所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S3具体包括：

当待识别的所述人体子图数量满足h≥k+a时，监控所述移动端的CPU和GPU的空闲线程情况，当存在空闲线程时，为所述空闲线程分配一个待识别的所述人体子图，进行人体骨架识别，其中，h为待识别的所述人体子图数量，k为预设的分配参数，a为所述移动端的CPU的最大线程数。

5.根据权利要求4所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S3具体包括：

当待识别的所述人体子图数量满足hk+a时，先将个待识别的所述人体子图分配给GPU；

再判断剩余待识别的所述人体子图的数量，当满足时，监控所述移动端的CPU的空闲线程情况，当存在空闲线程时，为所述空闲线程分配一个待识别的所述人体子图，否则，将一个待识别的所述人体子图分配给一个以上的线程。

6.根据权利要求5所述的移动端的多人人体骨架识别方法，其特征在于：所述预设的分配参数根据所述移动端的CPU运算延迟与GPU运算延迟的比值确定。

7.根据权利要求1至3任一项所述的移动端的多人人体骨架识别方法，其特征在于：步骤S3中所述预设的骨架识别模型为卷积神经网络模型，所述卷积神经网络模型的神经网络层包含至少1个倒置残差卷积层和至少1个增强倒置残差卷积层；所述倒置残差卷积层采用ReLU6非线性激活函数；所述增强倒置残差卷积层采用Squeeze and Excitation模块和H-Swish激活函数。

8.根据权利要求7所述的移动端的多人人体骨架识别方法，其特征在于：所述卷积神经网络模型的最里层神经网络包含2个或2个以上的增强倒置残差卷积层。

9.根据权利要求8所述的移动端的多人人体骨架识别方法，其特征在于：所述卷积神经网络的输入层与第一个神经网络层之间还设置有预处理层；所述预处理层包括至少1个第一倒置残差模型和至少1个第二倒置残差模型；所述第一倒置残差模型和所述第二倒置残差模型的步长不相等。

10.一种移动端的多人人体骨架识别装置，包含处理器和存储器，所述处理器用于执行所述存储器中的应用程序，其特征在于：所述存储器内存储有被执行时可实现如权利要求1至9任一项所述的移动端的多人人体骨架识别方法的应用程序。