[发明专利]一种基于RepNet模型的人体多视角图像序列的骨架提取方法

说明书

本发明公开了一种基于RepNet模型的人体多视角图像序列的骨架提取方法，基于沙漏网络的二维骨架提取方法和基于RepNet的三维骨架提取方法来提取初始的多视角三维骨架序列。将多视角骨架序列通过基于最小二乘的配准融合方法得到融合后的优化序列，最后利用帧间帧内优化模型对连续帧三维骨架序列进行优化，得到最终优化后的骨架序列；本发明利用三维融合的可扩展性，把得到的多视图三维骨架进行配准融合优化，然后得到更准确的三维骨架序列，能很好的表达运动形态。

技术领域

本发明涉及计算机图形学技术领域，尤其涉及一种面向多视角连续帧的三维人体骨架提取方法。

背景技术

近年来，计算机视觉成为人工智能最为重要的方向之一。而人体骨架提取是计算机视觉领域的非常重要研究方向，也是其他研究领域的基础。例如，在行为识别、人机交互、智能安防以及辅助计算等领域是有重要意义的。人体骨架提取又称为关节点检测，它能够从图片或者视频中，把人体关键的关节点检测出来做进一步的分析和判断。简言之，人体骨架提取就是重建人的关节和肢干，用一种简单的方式来描述人的动作。

目前为止，对多视图图像提取骨架大多数是基于传统的方法，一般都是把多视图图像进行三维重建后，得到对应的点云模型或者网格模型后，再进行骨架的提取。该类方法提取出来的骨架存在骨架点缺失与位置不准确的问题，需要通过人为地去调整骨架点的个数与位置。这样人为的因素在整个骨架提取的过程中占据很大一部分时间与精力。

随着深度学习在计算机视觉方向研究取得突破性进展，基于深度学习的骨架提取方法逐渐替代了传统方法。深度学习往往会把特征提取，分类，以及空间位置的建模都在一个网络中直接建模，不需要独立的进行拆解，这样会比传统方法更方便设计和优化。通过深度学习方法提取骨架可以避免骨架点的缺失，但是对于某些角度的图片可能遮挡了图片中关键的信息，用局部信息的单视图会影响对应的二维骨架和三维骨架的生成，提取的骨架可能存在关键点偏离的问题。

因此针对上述问题，本发明提出了利用深度学习模型得到初始骨架后，再将多个视图三维骨架配准融合得到一个相对准确骨架的想法，并且考虑了连续帧之间的时间约束和空间约束来进一步优化骨架序列。

发明内容

本发明提出了一种面向多视角图像序列三维人体骨架提取方法。此方法可以在几乎没有人工干预的情况下从多视图图像序列提取出符合人体实际骨架的具有16个骨骼点的三维人体骨架。

近年来光场采集设备的发展为解决这些问题提供了契机。与传统多视图设备相比，光场设备可以自动捕捉一系列人体多视角图像，并根据灯光和频率设置进行连续运动。基于光场设备能够采集50个多视图的图像或者视频数据。本发明提出在已有的比较成熟的二维和三维骨架提取模型之上，利用三维融合的可扩展性，把得到的多视图三维骨架进行配准融合优化，然后得到更准确的三维骨架序列。因为相对静止的人体部位对应的骨架点在相邻帧中的几何位置具有局部不变性，并且在相邻帧中具有相同运动的人体部位的骨架点具有相同且相似的运动轨迹。因此，再利用连续帧信息优化有助于提取更准确的骨骼点。图1为本发明提取的骨架形式。该骨架具有16个具有代表性的骨架点，能很好的表达运动形态。

为了实现上述目的，本方法采用基于沙漏网络的二维骨架提取方法和基于RepNet的三维骨架提取方法来提取初始的多视角三维骨架序列。将多视角骨架序列通过基于最小二乘的配准融合方法得到融合后的优化序列，最后利用帧间帧内优化模型对连续帧三维骨架序列进行优化，得到最终优化后的骨架序列。各个步骤具体实现过程如下：

步骤1：基于沙漏网络的二维骨架提取和基于RepNet的三维骨架提取。