[发明专利]人体三维动作自动提取方法

权利要求书

1.一种人体三维动作自动提取方法，其特征在于包括：

步骤一，构建多目相机系统，标定并采集多视角图片；

步骤二，获得多视角图片中的二维人体关键点；

步骤三，根据相机位置、关键点计算出三维人体关键点；

在BA优化中加入二维人体关键点的置信度则得到第i个三维点的表达式：

X表示由三角测量计算出的三维点，P_v(X)为X在视角v上的二维投影；使得优化出的三维点X在各个视角V上的投影与网络检测出来的二维点加权距离最小；

步骤四，根据三维人体关键点构建人体骨骼点层级树。

2.根据权利要求1所述的人体三维动作自动提取方法，其特征在于：步骤二中，利用神经网络系统openpose或alphapose获得二维人体关键点。

3.根据权利要求2所述的人体三维动作自动提取方法，其特征在于：步骤二中，openpose网络检测到的每个关键点p，得到表示第i个关键点在视角v图片上的位置，表示网络对于该点的置信度；其中，p∈T，||T||＝n,其中n表示关键点的个数；v∈V，||V||＝m，其中m表示所用相机的数目。

4.根据权利要求1所述的人体三维动作自动提取方法，其特征在于：步骤三中，进行滤除离群点：

对于每个骨骼点随机选取三个视角，将其作为集合Sⁱ，并将三个视角的二维点三角化后得到三维骨骼点计算所有视角里的二维点与的加权重投影误差：

将的视角作为内围点加入到Sⁱ中；令λ＝0.1*(h+w)/2，其中h为该视角图片的长，w为宽；

再将更新后的全部内围点的Sⁱ代入公式(1)，并替换V，可得到：

优化得到新的三维骨骼点计算所有Sⁱ视角里的二维点与的总投影误差

重复以上过程，选出总投影误差最小的及其对应的此即为所需要的三维点。

5.根据权利要求1所述的人体三维动作自动提取方法，其特征在于：步骤三中，利用人体解剖学对手部进行进一步的优化：

argmin_X(E_proj+αE_anat)，

其中，α为可根据搭建的场景调整参数；而用于惩罚不可能的动作，γ为所有的指关节，表示指关节的弯曲夹角；X_i表示当前待优化的指关节三维点，X_ip为X_i的父节点，X_ic为X_i的子节点；和分别表示当前指关节的最小、最大人体解剖学夹角。