[发明专利]一种基于面部生理信息的多模态唇读方法

说明书

本发明公开了一种基于面部生理信息的多模态唇读方法，包括以下步骤：基于Kinect采集彩色图像和3D深度信息，并对彩色图像和3D深度信息进行预处理；建立面部肌肉模型，结合六条肌肉的位置信息，通过特征点匹配将每条肌肉的起点和终点映射到标准三维人脸模型中；基于深度信息提取唇部的几何特征、角度特征；根据面部肌肉模型提取表征肌肉伸缩变化的肌肉长度特征，以及表征肌肉间的相互协作对特征点位移影响的肌肉生理特征；基于DenseNets的多模态语音识别对上述特征进行识别，对DenseNet的全连接层进行改进，融合彩色图像与深度信息，对特征进行分类。本方法能够有效克服传统基于二维图像特征提取方法存在的不足。

技术领域

本发明涉及计算机智能识别领域，涉及多模态数据采集、基于深度信息的特征提取和多模态语音识别领域，尤其涉及一种基于面部生理信息的多模态唇读方法。

背景技术

唇读研究主要由三大模块构成，分别为：唇区检测与定位、唇动特征提取和训练识别。

关于唇区定位，早期是通过人脸的几何特征，即根据人脸长与脸宽的平均标准比例来大致确定唇部区域。现在流行的方法是基于颜色信息的方法，该方法的核心是利用颜色空间变换来分离色度，然后根据颜色范围信息来分割图像。Badura等人利用HSV空间直方图获得了满意的检测率^[1]。Spyridonos提出了YIQ颜色空间下的模糊C-均值聚类算法来描述下唇边界形态^[2]。

最初唇部特征提取方法是基于二维彩色图像展开的，分为基于像素的特征提取方法，基于模型的特征提取方法和基于像素和基于模型的混合方法。随着三维空间体感传感器的出现，深度信息作为视觉的一种新兴特征得到人们的广泛应用，特别是在唇部的特征提取方面。Uda等人建立了一个基于车内环境，包含：深度信息的唇动数据库，通过利用深度信息来重建话者面部的网格纹理模型，证明了三维数据的实验结果比二维数据的效果好^[3]。微软Kinect不仅可以采集多模态的信息，其自带的软件开发工具包提供了面部追踪的接口，通过接口可以使用坐标点来重新定义面部信息，因此基于Kinect听觉视觉的多模态语音识别系统吸引了一批研究者。Yargic等人利用Kinect深度摄像头获取到了121个面部特征点，然后从特征点提取了角度特征作为唇读应用的输入^[4]。Galatas等人使用自己建立的BAVCD数据库，实现了基于Kinect正脸深度数据辅助的多模态语音识别系统^[5]。

唇动识别是一个唇动系统的核心阶段，目前唇动识别方案有四类方法：模板匹配、动态时间规划(Dynamic Time Warping，DTW)、隐马尔科夫(Hidden Markov Model，HMM)、人工神经网络(Artificial Neural Networks，ANN)。近几年，深度学习受到了人们的广泛关注，它利用标准正脸的图像数据显著提高了多模态语音识别系统的性能。Chung等人利用基于卷积神经网络(CNN，Convolutional Neural Network)和长短时记忆网络(LSTM，LongShort-Term Memory)的网络模型实现了多模态的语音识别系统^[6]。

传统基于像素的唇动特征提取方法将唇区图像中的所有像素信息作为研究对象，直接将像素信息作为唇动特征向量，或经过某种图像变换后生成特征向量。该方法不能直观地反映唇动信息，且大都对图像的旋转、缩放和光照变化比较敏感。另外，该方法的特征向量维数较高，容易导致高冗余度。

传统基于模型的唇动特征提取方法利用嘴唇的轮廓信息来形象直观地刻画唇动变化，但任何一种模型都不能涵盖图像的全部特征，故存在信息丢失的问题，且该方法对目标图像信息清晰度的要求也非常高。