[发明专利]一种基于面部生理信息的多模态唇读方法

权利要求书

1.一种基于面部生理信息的多模态唇读方法，其特征在于，所述方法包括以下步骤：

基于Kinect采集彩色图像和3D深度信息，并对彩色图像和3D深度信息进行预处理；

建立面部肌肉模型，结合六条肌肉的位置信息，通过特征点匹配将每条肌肉的起点和终点映射到标准三维人脸模型中；

基于深度信息提取唇部的形状特征、角度特征；根据面部肌肉模型提取表征肌肉伸缩变化的肌肉长度特征，以及表征肌肉间的相互协作对特征点位移影响的肌肉生理特征；

基于DenseNets的多模态语音识别对上述特征进行识别，对DenseNet的全连接层进行改进，融合彩色图像与深度信息，对特征进行分类。

2.根据权利要求1所述的一种基于面部生理信息的多模态唇读方法，其特征在于，所述对彩色图像和3D深度信息进行预处理具体为：

对齐处理，根据对齐结果对彩色图像和3D深度信息进行分割；

对彩色图像进行面部检测、唇区定位以及数据扩张处理；对3D深度信息通过坐标变换纠正话者录制过程中头部的角度、距离偏移。

3.根据权利要求1所述的一种基于面部生理信息的多模态唇读方法，其特征在于，所述形状特征具体为：

F_shape2＝[F_shape2-1^T,…,F_shape2-k^T,…,F_shape2-N^T]^T

其中，h₁,h₂,h₃,h₄分别表示二维几何特征上唇内外侧轮廓高度和下唇内外侧轮廓高度；w₁和w₂表征唇部内外轮廓的半宽度。

4.根据权利要求2所述的一种基于面部生理信息的多模态唇读方法，其特征在于，所述肌肉长度特征具体为：

F_length＝[F_length-1,…,F_length-k,…，F_legnth-N]^T

其中，

5.根据权利要求1所述的一种基于面部生理信息的多模态唇读方法，其特征在于，所述方法还包括：

从每个音节的图像序列中挑选若干张连续图片代表该音节的唇动过程，按照从左到右、从上到下的空间顺序，进行拼接。