[发明专利]视频序列中的笑脸识别系统及方法

说明书

技术领域

本发明属于人脸识别技术领域，涉及一种笑脸系统，尤其涉及一种视频序列中的笑脸识别系统；同时，本发明还涉及一种视频序列中的笑脸识别方法。

背景技术

目前，针对笑脸识别的研究主要集中在特定环境、特定数据库中单张图像的笑脸分类识别，其应用于视频序列中的识别研究并不多，相应的技术也不完善。根据一些使用数码产品的用户反馈，所体验到的笑脸功能并不理想，在实际应用中存在着很多不足之处。

首先，笑脸识别功能的准确性不高。由于人类表情的表现方式有细微和强烈之分、缓和和激动之分、轻松和紧张之分等诸多形式，所以同一种表情往往表现出不同的面部形变和强度。

其次，笑脸识别功能的敏感度不高。目前有很多产品中的笑脸识别功能只有当被拍摄者的笑容达到一定程度或者符合一定规范时，甚至是必须露出牙齿，笑脸快门才能起到作用。

此外，笑脸识别功能的实时性也不好。用户面对摄像头，露出微笑，希望在自己的笑容最为自然的情况下进行捕捉和拍摄，而目前的相机捕捉笑容都有一定的延时，甚至是很迟缓，结果导致拍出的照片中面部表情反而比人工拍摄的更加僵硬。

有鉴于此，如今迫切需要设计一种新的笑脸识别方式，以便克服现有识别方法的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种视频序列中的笑脸识别系统，可提高笑脸识别的精确度。

此外，本发明还提供一种视频序列中的笑脸识别方法，可提高笑脸识别的精确度。

为解决上述技术问题，本发明采用如下技术方案：

本发明主要针对人脸图像中笑脸特征的提取方法进行研究，旨在特征提取过程中，取得更加有效的信息，从而提高笑脸识别的准确性，并将其应用于视频序列环境下的笑脸识别系统当中。本发明的工作主要分为两个方面：一是结合人脸检测、五官定位等相关技术，采用有效的特征提取方法对视频序列中的人脸图像进行笑脸特征提取；二是在视频采集、分类识别等技术的辅助下，结合本发明的特征提取算法，实现视频序列的环境中，完整的笑脸识别系统。

本发明在光流法与PHOG(分层梯度方向直方图，Pyramid Histogram of Oriented Gradients)算法的基础上，提出了对光流特征与PHOG特征进行特征融合，即Optical_PHOG特征提取技术。在Optical_PHOG特征提取中，光流特征采用Horn-Schunck算法对人脸区域进行提取，得到的特征向量能够表示视频序列中每帧图像之间的相关性信息；PHOG特征采用sobel算子计算梯度，角度划分为无方向9通道，在对人脸图像的嘴部进行两层金字塔分割之后，对每个分割区域进行HOG提取，得到的特征向量能够很好地携带图像本身的纹理细节。将两种信息结合之后，所提取的Optical_PHOG特征向量携带了光流特征的同时，还携带了PHOG特征，使得从笑脸图像中提取出的特征信息更加饱满。得到了笑脸特征的特征向量之后，下一步就是利用这些特征进行训练和分类识别。特征的训练是指通过某种方法(这里主要是机器学习的方法)，将得到的这些特征向量按照所属类别进行划分，找到一种分类规则，能够使这两种类别之间的区别最大。分类识别是指将待识别的特征向量与训练得到的分类规则进行比较，得出待识别的特征向量所属类别的过程。

本发明设计了一个基于视频序列的笑脸识别系统。系统首先对Jaffe人脸表情数据库中的样本图像，提取特征送入随机森林中进行训练，得出笑脸分类器；然后通过摄像头进行图像采集，对采集到的人脸图像，提取特征，送入随机森林，结合分类器，进行分类识别，得出识别结果并输出。在这个系统中，特征提取采用光流法、PHOG算法和Optical_PHOG算法分别实现。

一种视频序列中的笑脸识别系统，所述系统包括：

预处理模块，通过视频采集、人脸检测、嘴巴检测，从而获得能够直接提取光流特征或PHOG特征的人脸图像区域；

特征提取模块，采用Optical_PHOG算法进行笑脸特征的提取，得到最有利于笑脸识别的信息；

分类识别模块，采用随机森林算法根据特征提取模块中得到的大量训练样本的特征向量，通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准。将待识别图像的特征向量与这个分类器进行对比或匹配等操作，识别出该待识别图像属于笑脸和非笑脸的哪个类别，达到对其进行分类识别的目的。

作为本发明的一种优选方案，所述特征提取模块包括Optical_PHOG特征提取单元，分类识别模块包括随机森林分类识别单元。