[发明专利]面部表情识别装置及方法和摄像装置

说明书

技术领域

本发明涉及一种基于描绘人物的图像信息来识别面部表情的面部表情识别装置及方法和摄像装置。

背景技术

存在多种传统技术用来识别面部表情。在日本特许第02840816号公报(在下文中称为“专利文献1”)所记载的面部表情识别中，预先设置要在面部表情识别中使用的无表情的参照图像。然后，对输入图像和预先设置的无表情的参照图像进行小波变换以针对各个频带计算频率信号的平均功率。然后通过计算各个平均功率之间的差来确定面部表情。

另外，在日本特开2005-56388号公报(下文中称为专利文献2)记载的面部表情识别中，在从面部表情识别所使用的无表情的参照图像中预先提取了规定的特征点之后，计算特征点之间的距离等。然后通过类似地计算输入图像中的特征点之间的距离并计算各个距离之间的差值，来确定面部表情。

此外，日本特开2005-266984号公报(下文中称为专利文献3)记载了一种不使用无表情的参照图像的面部表情识别技术。在专利文献3所记载的面部表情识别中，在检测到图像中的嘴角(corner)以及左眼角和右眼角之后，基于由这四个点生成的矩形中长边与短边的比率确定面部表情。

此外，在日本特许第2573126号公报(专利文献4)中，记载了一种方法，其中，从各特征位置获得眉毛动作和其他面部表情元素及面部表情元素信息，并基于面部表情元素信息计算面部表情元素码，然后在规定的变换公式中使用面部表情元素码来计算情绪值。

然而，由于在上述专利文献1和专利文献2中所记载的面部表情识别捕捉相对于无表情状态的变化，因此，与专利文献3中记载的不使用无表情的参照图像的面部表情识别技术相比，它们具有以下显著优势：(1)它们能够适应诸如眼、嘴等的面部器官的位置的个人差异；(2)它们能够以相对高的检测精确度捕捉面部表情的细微变化。但是，另一方面，这些处理具有以下问题：(1)为了预先登记无表情的图像，需要时间和人力；(2)仅能够对所登记的人识别面部表情；(3)由于进行登记的图像的数量等依赖于进行面部表情识别的人的数量，因此需要较大的存储区；(4)当登记期间的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环境之间的差异而不能精确地识别面部表情；(5)在登记无表情的图像的用户中术语“无表情的图像”的定义的变化很大地影响到面部表情识别的精确度。上述五个问题由用户预先手动地登记无表情的图像的操作引起。

此外，在专利文献3和4中，不能适应面部的特征点位置等方面的个人差异，并且由于使用通用标准来确定各个人的面部表情，因此难以提高精确度。

发明内容

考虑解决上述问题而做出本发明，本发明提供了一种面部表情识别装置及方法，其中，在典型实施例中，不需要预先登记特定面部表情的图像，并且基于各个人的面部特征的使用，能够进行面部表情的确定。

根据本发明的一个方面，提供了一种面部表情识别装置，该面部表情识别装置包括：

图像输入单元，用于顺次输入图像；

面部检测单元，用于检测由所述图像输入单元获得的图像中的面部；

开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息确定是否开始面部表情确定；

获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；以及

面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情确定时从由所述面部检测单元检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所述检测到的面部的面部表情。

根据本发明的另一方面，提供了一种摄像装置，该摄像装置包括：

上述面部表情识别装置；

供应单元，用于使用摄像单元以时间先后顺序获取图像并将所获取的图像供应给所述图像输入单元；以及

记录单元，用于在所述面部表情确定单元确定面部表情是规定面部表情时，将所述图像记录为拍摄图像。

根据本发明的一个方面，提供了一种面部表情识别装置，该面部表情识别装置包括：

图像输入单元，用于顺次输入图像；

面部检测单元，用于检测由所述图像输入单元获得的所述图像中的面部；

特征提取单元，用于从由所述面部检测单元检测到的面部中提取特征；

存储单元，用于在由所述特征提取单元提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及