[发明专利]一种基于跨模态注意力增强的唇语识别方法及系统有效
申请号: | 202110986219.3 | 申请日: | 2021-08-26 |
公开(公告)号: | CN113435421B | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 李树涛;宋启亚;孙斌 | 申请(专利权)人: | 湖南大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62 |
代理公司: | 湖南兆弘专利事务所(普通合伙) 43008 | 代理人: | 谭武艺 |
地址: | 410082 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于跨模态注意力增强的唇语识别方法及系统,本发明包括提取唇部图像序列和唇部运动信息,通过预训练特征提取器获取对应的唇部特征序列和唇部运动序列,将得到的特征序列输入跨模态注意力网络,得到唇部增强特征序列;通过多分支注意力机制建立模态内特征序列的时序关联性,并在输出端特定的选择输入中相关的信息。本发明通过考虑时序信息之间的关联性,将相邻帧之间进行光流计算得到视觉特征之间的运动信息,利用运动信息对唇部视觉特征进行表示并进行融合增强,充分利用了模态内的上下文信息,最后通过多分支注意力机制进行模态内特征的关联表示和选择,提升了唇读识别的准确率。 | ||
搜索关键词: | 一种 基于 跨模态 注意力 增强 识别 方法 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南大学,未经湖南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110986219.3/,转载请声明来源钻瓜专利网。