[发明专利]姿势估计装置及姿势估计方法

说明书

技术领域

本发明涉及使用由相机拍摄到的图像的人物姿势估计装置及姿势估计方法。

背景技术

近年来，已进行了与使用由相机拍摄到的图像的人物姿势估计相关的研究。作为以往的姿势估计装置，在专利文献1中公开了利用轮廓匹配的姿势估计装置。专利文献1中记载的姿势估计装置对由表现各种姿势的三维人体模型生成的剪影图像、和由输入图像生成的剪影图像进行图像匹配，将匹配分数最高的三维人体模型的姿势作为输入图像上的人物的估计姿势予以输出。

现有技术文献

专利文献

专利文献1：国际公开第2007/010893号

非专利文献

非专利文献1：D.G.Lowe，“Distinctive Image Features from Scale-Invariant Keypoints”，International Journal of Computer Vision，Springer Netherlands，2004年11月，Vol.60，No.2，p.91-110

非专利文献2：P.Viola and M.Jones.″Rapid Object Detection Using a Boosted Cascade of Simple Features，″in Proc.of CVPR，vol.1，ppp.511-518，December，2001

发明内容

发明要解决的问题

然而，人物的姿势多种多样，由于进行拍摄的相机与人物的位置关系，部位被重叠地拍摄的情况也较多。例如，如图1所示，无论伸手还是弯手，人物的剪影均相同。专利文献1中记载的姿势估计装置使用失去人的轮廓内侧的信息的剪影，因此，存在以下的问题：对于部位重叠，估计能力差，难以估计出姿势。

本发明的目的在于提供姿势估计装置及姿势估计方法，通过使用骨骼模型估计人物的多种多样的三维姿势。

解决问题的方案

本发明的姿势估计装置的一个形态包括：主干骨骼估计单元，估计获取图像内的人物的特征部位的位置；似然图生成单元，根据上述人物的特征部位的位置，生成表示在上述获取图像中存在上述人物的特征部位以外的部位的概率的似然图；以及评价单元，根据上述似然图评价候选群，该候选群包含多个二维骨骼模型作为候选，且各二维骨骼模型由表示各部位的线群与表示各部位之间的连结的点群构成并且对应于人物的一个姿势。

本发明的姿势估计方法的一个形态包括以下步骤：估计获取图像内的人物的特征部位的位置；根据上述人物的特征部位的位置，生成表示在上述获取图像中存在上述人物的特征部位以外的部位的概率的似然图；以及根据上述似然图评价候选群，该候选群包含多个二维骨骼模型作为候选，且各二维骨骼模型由表示各部位的线群与表示各部位之间的连结的点群构成并且对应于人物的一个姿势。

发明的效果

根据本发明，通过使用骨骼模型，能够估计多种多样的三维姿势。

附图说明

图1是表示以往的姿势估计装置的姿势估计结果的一例的图。

图2是用于说明骨骼模型的图。

图3是包含本发明各实施方式的姿势估计装置的行动解析系统的结构图。

图4是表示本发明实施方式1的姿势估计装置的主要结构的方框图。

图5是表示实施方式1的骨骼模型评价单元的主要结构的方框图。

图6是表示本实施方式1中的操作画面的一例的图。

图7是表示主干骨骼信息的一例的图。

图8是表示成为主干骨骼信息中所含的各信息的基准的图像坐标系的图。

图9是表示部位区域及部位区域信息的一例的图。

图10是将各部位的部位区域重叠于对象图像的示意图。

图11是表示骨骼信息的一例的图。

图12是有效利用骨骼信息且将骨骼信息重叠于对象图像的示意图。

图13是表示骨骼模型坐标系的图。

图14是表示各关节长度比及关节角度的一例的图。

图15是用于说明通过对三维骨骼模型进行投影变换而获取二维图像的动作的图。

图16是表示从多个视点对表示某个动作姿势的骨骼模型进行投影所得的二维图像的一例的图。

图17是表示实施方式1的估计处理装置的处理流程的一例的图。

图18是表示肩关节检测器的处理流程的一例的图。

图19是用于说明肩关节检测器中的肩关节位置估计方法的图。