[发明专利]人体三维动作自动提取方法

说明书

本发明涉及计算机视觉领域，特别涉及一种对人体姿态检测和运动分析的人体三维动作自动提取方法，该方法包括：采集多视角图片；获得多视角图片中的二维人体关键点；计算出三维人体关键点；构建人体骨骼点层级树。本发明对于人体动作检测准确，尤其是手部检测十分稳健，更为精准；整个检测过程均为自动化，无需额外人工。

技术领域

本发明涉及计算机视觉领域，特别涉及一种对人体姿态检测和运动分析的人体三维动作自动提取方法。

背景技术

随着社会的发展、人口的增多，暴力事件、恐怖袭击事件越来越多。如何让计算机理解人类的行为，来预防犯罪，正在成为一项崇高而亟待解决的问题。人类具有社会属性，任何人的社交行为都可以通过他(她)的动作(身体动作，手势，表情)来表现出来。因此有很多研究者，将让计算机理解人类行为转变为理解人体三维动作。而这第一步，则是对人体三维动作的正确检测。除了在安防方面的作用，人体动作检测在健身(如运动评估)，娱乐(如电影特效制作)，医疗(如康复训练)等领域也有着十分重要的作用。因其显著的学术、商业与社会价值，人体三维动作检测正成为越来越重要的研究方向。

现有的方法中，准确率最高的当属商业动作捕捉设备(如OptiTrack)。它需要用户穿戴特定的带标记的服装，在特定的环境中进行动作采集。这种方法广泛应用于有后期制作的电影行业。但在日常生活中，人们衣着多样，生活场景也各式各样，因而很难用这种方法来分析人们的日常动作。

另一些不用标记和特定环境的方法，如用深度(RGBD)相机组或者多RGB相机系统，往往会遇到动作抖动/缺失/不准确的问题；同时对于手部这样自由度高且特征少的部位常出现很大的检测误差。为了能准确检测出人们的日常动作，需要一种方便有效的自动提取人体三维动作的方法。

发明内容

本发明为解决现有的问题，旨在提供一种人体三维动作自动提取方法。

为了达到上述目的，本发明采用的技术方案包括：

步骤一，构建多目相机系统，标定并采集多视角图片；

步骤二，获得多视角图片中的二维人体关键点；

步骤三，根据相机位置、关键点计算出三维人体关键点；

步骤四，根据三维人体关键点构建人体骨骼点层级树。

步骤二中，利用神经网络系统openpose或alphapose获得二维人体关键点。

步骤二中，openpose网络可检测到的每个关键点p，得到表示第i个关键点在视角v图片上的位置，表示网络对于该点的置信度；p∈T，||T||＝n,其中n表示关键点的个数；v∈V，||V||＝m，其中m表示所用相机的数目。

步骤三中，在BA优化中加入置信度则得到第i个三维点的表达式：

X表示由三角测量计算出的三维点，P_v(X)为X在视角v上的二维投影；优化出的三维点X在各个视角V上的投影与网络检测出来的二维点加权距离最小。

步骤三中，进行滤除离群点：

对于每个骨骼点随机选取三个视角，将其作为集合Sⁱ，并将三个视角的二维点三角化后得到三维骨骼点

计算所有视角里的二维点与的加权重投影误差：

将的视角作为内围点加入到Sⁱ中；令λ＝0.1*(h+w)/2，其中h为该视角图片的长，w为宽；

再将更新后的全部内围点的Sⁱ代入公式(1)，并替换V，可得到：