[发明专利]估计深度图像中重叠的多个人体对象的姿态的设备和方法

说明书

公开了一种用于估计深度图像中重叠的多个人体对象的姿态的设备，所述设备包括：对象提取单元，被配置为从深度图像提取重叠的多个人体对象的图像区域，并确定所述多个人体对象是可分离的重叠人体对象还是不可分离的重叠人体对象；部位分类单元，被配置为基于对象提取单元的确定结果，确定所述多个人体对象的图像区域中的每个像素所属的人体部位；部位假定单元，被配置为基于部位分类单元的确定结果，针对所述多个人体对象产生各个人体部位的部位假定；姿态确定单元，被配置为将所述部位假定组装成至少一种姿态假定，并基于预设评价规则对每种姿态假定进行评价以确定每个人体对象的姿态。

技术领域

本申请涉及一种图像处理设备和方法，更具体地讲，涉及一种用于估计深度图像中重叠的多个人体对象的姿态的设备和方法。

背景技术

随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥控。此时，人体本身（例如，头部、手部/手指/臂、躯干或整个身体）可用作进行控制的实体，从而通过身体部位在真实场景中的各种动作对显示的对象进行操作。在这种情况下，可利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿态，借此分析出用户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿态。

现有的研究主要集中于对一个场景中的单个用户或相互分开的多个用户的姿态进行识别，并且现有的姿态识别策略也大多是针对这种状况而设计的。然而，实际上在一个场景中可能存在彼此重叠的多个用户（例如，肢体接触的多个用户，或肢体未接触但在拍摄的图像中呈现为彼此遮挡的多个用户），在这种情况下，如何识别这样的用户的姿态已成为新的问题。

发明内容

根据本发明的一方面，提供了一种用于估计深度图像中重叠的多个人体对象的姿态的设备，所述设备包括：对象提取单元，被配置为从深度图像提取重叠的多个人体对象的图像区域，并确定所述多个人体对象是可分离的重叠人体对象还是不可分离的重叠人体对象；部位分类单元，被配置为基于对象提取单元的确定结果，确定所述多个人体对象的图像区域中的每个像素所属的人体部位；部位假定单元，被配置为基于部位分类单元的确定结果，针对所述多个人体对象产生各个人体部位的部位假定；姿态确定单元，被配置为将所述部位假定组装成至少一种姿态假定，并基于预设评价规则对每种姿态假定进行评价以确定每个人体对象的姿态。

所述对象提取单元还可被配置为：当所述多个人体对象是可分离的重叠人体对象时，将可分离的重叠人体对象的图像区域分割为被遮挡的后方人体对象的图像区域和遮挡了后方人体对象的前方人体对象的图像区域。所述部位分类单元可包括第一分类器和第二分类器，可使用多个包含重叠的人体对象的深度图像来预先建立和训练所述第一分类器，并可使用多个包括非重叠的人体对象的深度图像来预先建立和训练所述第二分类器。可对可分离的重叠人体对象中的前方人体对象的图像区域应用第二分类器来确定所述前方人体对象的图像区域中的每个像素所属的人体部位，并可对可分离的重叠人体对象中的后方人体对象的图像区域应用第一分类器来确定被遮挡的后方人体对象的图像区域中的每个像素所属的人体部位。

当所述多个人体对象是不可分离的重叠人体对象时，所述部位分类单元可对不可分离的重叠人体对象的图像区域应用第一分类器来确定不可分离的重叠人体对象的图像区域中的每个像素所属的人体部位。