[发明专利]用于估计人体朝向的设备和方法

说明书

技术领域

本发明涉及在三维空间中对人体的姿态进行估计的计算机视觉图形识别技术，具体说来，涉及一种用于在三维空间中估计人体朝向的设备和方法。

背景技术

在电子系统中，从传统的键盘输入、鼠标输入、手柄输入到触摸输入、声控输入等，人机之间的交互方式一直在不断发展。近来，通过识别人体在设备之前的动作变化来判断相应的输入指令成为游戏机等设备中逐渐被采用的输入方式，其正在取代传统的游戏操纵杆以实现对游戏进程的控制。在诸如游戏机的各种设备中，可将不同的人体朝向定义为不同的操作指令，并可基于朝向的持续变化来进一步定义各种控制命令。除此之外，在例如视频监视或人体动作分析等其它领域中也需要对人体的朝向进行识别和估计。

在对人体朝向进行估计的现有技术中，通常利用人体的整体模型(例如，头部-颈部-躯体(H-N-T)模型)来匹配人体中容易分辨出的局部区域(例如上身、头部、面部等)，从而进行后续处理，这使得处理的灵活性受到限制。此外，在对躯体部分进行估计时，现有技术中往往需要假设存在特定的躯体姿势(如，手臂张开的T字形姿态)，这使其应用受到限制，例如，这种估计方式难以应用于多人交互和复杂背景的情况。随着深度图像传感器的发展，人们越来越关注基于深度图像进行的人体姿态分析。然而，由于深度图像携带的信息有限，因此，基于深度图像所检测到的局部分量在有效性方面有所欠缺。

综上所述，在现有技术中，各种人体朝向的估计方法均需要面对运算量和有效性之间的矛盾问题，因此，有必要提出一种能够在保证有效性的前提下，简化运算并具有良好的通用性和扩展性的技术方案。

发明内容

本发明的目的在于提供一种用于估计人体朝向的设备和方法，根据所述用于估计人体朝向的设备和方法，能够利用基于深度图像估计出的主轴来构建有效的躯体模型，进而利用通过对躯体模型变型而估计出的躯体区域来有效地估计出人体的朝向。

根据本发明的一方面，提供一种用于估计人体朝向的设备，所述设备包括：图像输入单元，用于接收拍摄的人体图像，其中，所述人体图像至少包括深度图像；分量检测单元，用于在由图像输入单元接收的人体图像中，检测在人体中易分辨出的局部分量；主轴估计单元，用于基于由分量检测单元检测的局部分量，在由图像输入单元接收的人体图像中估计出二维空间中的人体主轴；躯体区域估计单元，用于基于由主轴估计单元估计出的人体主轴，在由图像输入单元接收的人体图像中估计出二维空间中的躯体区域；以及人体朝向估计单元，用于结合由躯体区域估计单元估计出的躯体区域以及躯体区域在深度图像中的深度信息，在三维空间中估计与所述躯体区域相应的人体平面模型，并基于人体平面模型来估计人体在三维空间中的朝向。

所述人体图像还包括二维图像。

所述分量检测单元在检测局部分量时，采用由粗略到精细的不断缩小检测范围的检测过程。

所述分量检测单元包括：深度图像递进式检测单元、二维图像递进式检测单元和检测结果融合单元，其中，深度图像递进式检测单元和二维图像递进式检测单元分别包括粗略检测模块和精细检测模块，用于对输入的深度图像和二维图像进行由粗略到精细的递进式局部分量检测，检测结果融合单元对深度图像递进式检测单元和二维图像递进式检测单元检测到的局部分量进行融合，以便得到更为有效的检测结果。

所述分量检测单元基于多尺度对比特征来进行局部分量检测，包括：基于多尺度对比特征的学习机，用于对关于所述局部分量的训练样本进行多尺度对比特征提取，并对提取的特征应用统计学习处理；分类器加载单元，用于根据所述基于多尺度对比特征的学习机的统计学习处理结果来构建分类器；检测单元，用于利用由分类器加载单元构建的分类器对人体图像进行局部分量检测，其中，所述多尺度对比特征用于指示人体图像中多个相关矩形区域之间在不同尺度下关于特定图像属性的对比关系。

在所述分量检测单元检测出局部分量之后，主轴估计单元在深度图像中分离出人体所在的前景部分，并随后在分离出的前景部分中估计人体的主轴。

主轴估计单元采用KL矩方法来估计出人体前景部分的主方向，作为人体主轴的方向。

所述局部分量包括人体的头部，主轴估计单元基于检测到的头部估计出近似躯体区域，分别计算出头部的重心和近似躯体区域的重心，将这两个重心的连线作为估计出的人体主轴。

在计算重心之前，主轴估计单元基于形态学对头部和近似躯体区域进行预处理，以去除其中的噪声。