[发明专利]脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序

说明书

技术领域

本发明涉及一种脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序，使用对脸进行摄影而得到的图像来进行脸姿势的推定。

背景技术

推定脸朝向和脸姿势的技术能够在各种领域中应用。其中，“脸朝向”通过表示左右转动、前后俯仰和左右倾斜这3个方向的信息来表现。

另外，“脸姿势”至少表示脸朝向。而且，除了脸朝向以外，“脸姿势”也有包含3维空间的位置概念的情况。因此，“脸姿势”可以用左右转动、前后俯仰、左右倾斜、x坐标、y坐标、z坐标最多6维的信息来表示。推定脸朝向和脸姿势的技术在车辆驾驶员的安全驾驶支持的领域中尤其有用。

作为在计算机进行的脸朝向推定和脸姿势推定中使用的代表方法，已知的方法有(例如，佐藤洋一：“计算机进行的脸追踪”，影像信息媒体学会杂志Vol.60、NO.4、pp.516-519(2006))：3维脸形状模型基础(以下称为“3D模型基础”)的方法、外观基础的方法和脸特征基础的方法。下面，对各方式进行说明。

为了进行脸姿势的推定，对3D模型基础的方法所适用的情况进行说明。这里，以使用时序过滤器中的一种的粒子过滤器的方法作为例子。粒子过滤器是贝兹过滤器的近似计算法，通过有限的粒子来表现概率密度函数。在粒子过滤器中，通过使用多个具有状态量和似然度的假設，而将追踪对象作为离散的概率密度函数来表达，将此概率密度函数通过状态变迁模型传播。脸姿势的“状态”是指与脸位置、脸朝向等脸姿势信息相关的状态。脸姿势的推定过程，生成多个脸姿势的状态的假设，计算这些各个假设与输入的脸图像的相似度，基于此相似度更新假设集合。而且，将与相似度最高的假设的状态量相对应的脸姿势作为推定结果进行输出。

在外观基础的方法中，预先准备朝向各个方向的脸图像，当新输入脸图像时，推定其与哪个脸图像最相似。在图像之间的相似度的计算中，经常使用对应的像素之间的像素值差的2次方。

在脸特征基础的方法中，基于输入图像中的眼睛和嘴等的相对的位置关系，求出脸特征，进行脸朝向的推定。作为脸特征基础的方法，例如，在日本特开2005-196567号公报(以下称为“文献1”)和特开平11-281661号公报(以下称为“文献2”)中，对驾驶员的脸摄像所得到的图像进行分析，对脸朝向进行推定。

发明内容

发明要解决的课题

然而，在文献1和文献2所记载的技术中，利用眼睛、鼻子、嘴这些既定的脸器官对脸朝向进行推定，一旦脸朝向变化或者通过带着眼镜、太阳镜等将这些部位隐去，就不能对脸姿势进行推定。为此，将可推定的角度范围限定在大约左右60度以内。但一旦限定了可推定的角度范围，就会出现不能充分进行驾驶员的安全驾驶支持的问题。

另外，在通过3D模型基础的方法进行脸朝向推定和脸姿势推定的情况下，由于使用输入摄像机图像中的眼睛、鼻子、嘴这些既定脸器官的位置，因此例如在脸较大地朝向横向的情况，脸器官的一部分从图像隐去，则会产生不能对脸姿势进行推定的问题。进一步，一般在3D模型基础的方法中所使用的3维脸形状模型为刚性体，因此当因表情变化和脸姿势的位置移动等而使皮肤拉张等、产生脸器官位置的变化时，输入的脸部图像和3维形状模型的区别变大，产生不能进行高精度的脸姿势推定的问题。

本发明鉴于以上的问题而做成，其目的在于，提供一种脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序，能够高精度地且即便在从图像中无法检测出脸器官的情况下，进行脸姿势的推定。

而且，本发明的目的在于，不拘束使用者，在使用者没有穿戴器具的情况下，能够进行眼睛、鼻子、嘴被隐去的范围内的脸姿势的推定。另外，其目的还在于，即便在因眼镜的配戴、发型的变化等而将既定的脸器官隐去的情况下，也可以进行脸姿势的推定。

用于解决课题的手段