[发明专利]一种结合图神经网络和多特征融合的唇语识别方法有效
| 申请号： | 202110263683.X | 申请日： | 2021-03-11 |
| 公开（公告）号： | CN112861791B | 公开（公告）日： | 2022-08-23 |
| 发明（设计）人： | 张成伟;赵昊天;张满囤;刘川;申冲 | 申请（专利权）人： | 河北工业大学 |
| 主分类号： | G06V40/16 | 分类号： | G06V40/16;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 天津翰林知识产权代理事务所(普通合伙) 12210 | 代理人： | 王瑞 |
| 地址： | 300130 天津市红桥区*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种结合图神经网络和多特征融合的唇语识别方法。该方法首先提取并构建人脸变化序列，标注人脸特征点，再矫正唇部偏转角度，通过训练后唇部语义分割网络预处理后，通过单帧特征点关系的图结构和相邻帧特征点关系的图结构来训练唇语识别网络，最终通过训练后唇语识别网络生成唇语识别结果。本发明将识别网络数据集和唇部语义分割网络数据集经CNN提取和特征融合后的CNN唇部特征和唇部区域特征点经GNN提取和融合后的GNN唇部特征经特征融合后输入到BiGRU中识别，解决时间序列特征提取困难和唇部特征提取受外界因素影响的问题，有效提取唇部的静态特征和唇部变化的动态特征，具有唇部变化特征提取能力强、识别结果准确度高等特点。 | ||
| 搜索关键词： | 一种 结合 神经网络 特征 融合 识别 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于河北工业大学，未经河北工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110263683.X/，转载请声明来源钻瓜专利网。
