[发明专利]用于估计人体姿态的设备和方法

说明书

提供一种用于估计人体姿态的设备和方法。一种用于估计人体姿态的设备包括：图像获取单元，用于获取包括人体对象的深度图像；部位特征检测单元，用于从获取的深度图像提取人体对象并检测人体的各个候选部位及特征，对所述深度图像进行最小能量骨架扫描确定多个骨架点并构建MESS骨架，并且通过各个候选部位的像素标记结果以及深度分布构建各候选部位的PIXLA骨架；部位产生单元，用于通过融合最小能量骨架扫描的结果以及像素标记的结果来产生各个人体部位的部位假定；姿态确定单元，用于将所述部位假定组装成为至少一个姿态假定，根据姿态评价准则对各个姿态假定进行评价并确定人体姿态。

技术领域

本发明涉及一种用于估计人体姿态的设备和方法，尤其涉及一种通过融合对包括人体对象的深度图像进行最小能量骨架扫描(MESS)以及像素标记的结果来估计人体姿态的设备和方法。

背景技术

随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥控。此时，人体本身(例如，头部、手部/手指/臂、躯干或整个身体)可用作进行控制的实体，从而通过身体部位在真实场景中的各种动作对所述显示的对象进行操作。在这种情况下，可利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿态，借此分析出用户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿态。

人们对如何估计人体姿态进行了大量研究，但是，目前用于估计人体姿态的方案仅在单一层次的姿态空间中直接估计人体姿态，这导致运算量较大，且估计精度不高。在这种情况下，现有的人体姿态估计方案往往主要依赖于大量的姿态样本，但是，即使样本数量很多，也难以涵盖针对不同体型、不同姿态(简单姿态或复杂姿态)的各种样本，而建立如此大量样本的姿态数据库也成为机器学习方法中的难题。

例如，第US20100278384号美国专利申请“Human body pose estimation”提出了一种基于大量人体姿态样本来识别人体姿态的系统。这一方案在很大程度上依赖于样本的姿态，而且训练时间过长。由于上述方案在建立姿态训练数据库时无法涉及各种体型的所有复杂姿态，因此，在估计复杂的姿态时性能显著降低。此外，第US20100197390号美国专利申请“Pose tracking pipeline”公开了一种基于像素簇来产生身体部位的方案，其依赖于第US20100278384号美国专利中公开的像素标记结果。在上述方案中，姿态估计的算法比较复杂，而且在单一层次的姿态空间中进行，因此，姿态估计结果的精确性不高。此外，第US20090252423号美国专利申请“Controlled human pose estimation from depth imagestreams”、第US2010049675A1号美国专利申请“Recovery of 3D Human Pose by JointlyLearning Metrics and Mixtures of Experts”、第US2011025834A1号美国专利申请“Method and apparatus of identifying human body posture”也均存在类似的问题，导致仅适用于简单的姿态，而在估计复杂姿态时精确度不高，或者，由于运算量大而无法适用于实时系统。

综上所述，传统的人体姿态估计方案具有两个主要问题。一个问题是，过于依赖姿态样本数据，而实际上收集覆盖不同的体形、不同的简单/复杂姿态的姿态样本非常困难，并且如果姿态数据库中样本数量过多，也将给机器学习过程带来相当大的难度。另一个问题是，不对估计的姿态进行分类，例如，简单姿态和复杂姿态，正面/侧面/交叉等，难以推定准确的人体姿态。

发明内容

本发明的目的在于提供一种能够以互补方式融合最小能量骨架扫描技术和像素标记技术来估计人体姿态的设备和方法，从而不需要依赖庞大的姿态样本数据，就较为准确地从人体深度图像中估计出人体姿态。