[发明专利]一种人体三维关键点提取方法

说明书

本发明公开一种人体三维关键点提取方法，应用于人体三维关键点检测领域，针对现有技术存在估计精度差的问题，本发明首先采用双视角进行人体动作行为数据采集；然后采用双分支多阶段结构分别对两个视角的数据进行人体二维关键点置信图检测；进而建立三维关键点生成模型；最后将检测到的待测人体动作行为数据对应的人体二维关键点置信图输入三维关键点生成模型，得到三维关键点坐标；采用本发明的方法可以有效提高人体三维关键点估计精度。

技术领域

本发明属于图像处理领域，特别涉及一种三维关键点检测技术。

背景技术

如今在健康监护、影视制作等方面都广泛采用了人体动作捕捉技术，根据重现人体真实动作将虚拟人物的动作渲染得更加真实，其中人体关键点检测是实现人体动作重现的基础。根据检测结果是否包含三维深度信息可以分为二维关键点检测和三维关键点检测。针对二维关键点检测的研究较多，但因遮挡或光影变化等原因容易造成误检和漏检情况，影响检测精度。

目前三维关键点检测主要分为两种：一是方法是从图像直接进行三维关键点检测，中国发明专利“一种基于残差网络的联合目标分类和三维姿态估计方法(CN108280481A)”基于残差网络ResNet-50进行关键点特征提取和分类，实现三维关键点检测；另一种方法是先从图像获取关键点二维坐标，再基于关键点二维坐标生成三维坐标，中国专利“一种基于结构信息的人体三维姿态估算的方法(CN110427877A)”先将单目RGB图像输入到二维姿态检测器中获取关键点二维坐标，再构建基于二维关键点结构信息的图卷积网络，输出关键点三维坐标。

现有三维关键点检测方法存在的缺陷：1)通过图像直接进行三维关键点坐标检查的方法往往依赖于其它参数，比如相机投影矩阵，而在视频数据里往往不会标注这些参数；2)直接进行三维关键点标注比较困难，现有的训练数据基本来自运动捕捉系统，场景和对象单一，训练出的模型泛化能力有限；3)针对视频的三维关键点检测一般按帧进行检测，处理每一帧的静态图像，忽略了连续帧间的时序信息和前后帧的动作变化。

发明内容

为解决上述技术问题，本发明提出一种人体三维关键点提取方法，首先对两个视角原始图像分别进行特征提取，通过二维关键点置信度检测，初步生成二维关键点坐标，同时建立三维关键点生成模型，双视角协同预测三维关键点坐标，提高人体三维关键点检测精度。

本发明采用的技术方案为：一种人体三维关键点提取方法，包括：

S1、采用双视角进行人体动作行为数据采集；

S2、采用双分支多阶段结构分别对两个视角的数据进行人体二维关键点置信图检测；

S3、建立三维关键点生成模型；

S4、将步骤S1采集到的待检测的人体动作行为数据，经步骤S2处理后得到对应的二维关键点置信图，将该二维关键点置信图输入步骤S3建立的三维关键点生成模型，得到三维关键点坐标。

步骤S1具体为：采用两个摄像头，记为摄像头A与摄像头B，同时进行人体动作行为数据采集，对采集的视频数据进行同步帧采样。

步骤S2所述双分支多阶段结构具体为：上分支用来学习摄像头A中关键点的位置，下分支用来学习摄像头B中关键点的位置，上下分支包括多个阶段，其中阶段1采用3层3×3卷积和两层1×1卷积，其余阶段均采用5层7×7卷积和两层1×1卷积。

还包括采用一层三维CNN来提取原始图像特征，第一阶段的输入为该层三维CNN提取的原始图像特征；后续阶段的输入为该层三维CNN提取的原始图像特征以及前一阶段的置信度图预测结果。

这层三维CNN用于提取当前帧与其前后帧的图像特征。

该层三维CNN卷积核大小为3×3×3。