[发明专利]一种基于面部生理信息的多模态唇读方法在审
| 申请号： | 201910284544.8 | 申请日： | 2019-04-10 |
| 公开（公告）号： | CN110110603A | 公开（公告）日： | 2019-08-09 |
| 发明（设计）人： | 徐天一;朱雨朦;高洁;刘志强;赵满坤;王建荣;李雪威;杨帆 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06T3/40;G06T7/41;G06T17/00 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 李林娟 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于面部生理信息的多模态唇读方法，包括以下步骤：基于Kinect采集彩色图像和3D深度信息，并对彩色图像和3D深度信息进行预处理；建立面部肌肉模型，结合六条肌肉的位置信息，通过特征点匹配将每条肌肉的起点和终点映射到标准三维人脸模型中；基于深度信息提取唇部的几何特征、角度特征；根据面部肌肉模型提取表征肌肉伸缩变化的肌肉长度特征，以及表征肌肉间的相互协作对特征点位移影响的肌肉生理特征；基于DenseNets的多模态语音识别对上述特征进行识别，对DenseNet的全连接层进行改进，融合彩色图像与深度信息，对特征进行分类。本方法能够有效克服传统基于二维图像特征提取方法存在的不足。 | ||
| 搜索关键词： | 肌肉 彩色图像 深度信息 多模态 面部肌肉 生理信息 唇读 预处理 三维人脸模型 深度信息提取 特征点匹配 长度特征 二维图像 几何特征 角度特征 模型提取 伸缩变化 生理特征 特征提取 语音识别 连接层 特征点 唇部 映射 采集 融合 分类 协作 改进 | ||
【主权项】：
1.一种基于面部生理信息的多模态唇读方法，其特征在于，所述方法包括以下步骤：基于Kinect采集彩色图像和3D深度信息，并对彩色图像和3D深度信息进行预处理；建立面部肌肉模型，结合六条肌肉的位置信息，通过特征点匹配将每条肌肉的起点和终点映射到标准三维人脸模型中；基于深度信息提取唇部的形状特征、角度特征；根据面部肌肉模型提取表征肌肉伸缩变化的肌肉长度特征，以及表征肌肉间的相互协作对特征点位移影响的肌肉生理特征；基于DenseNets的多模态语音识别对上述特征进行识别，对DenseNet的全连接层进行改进，融合彩色图像与深度信息，对特征进行分类。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910284544.8/，转载请声明来源钻瓜专利网。
