[发明专利]基于音视频双模态的语音识别方法及系统在审
| 申请号： | 202210515512.6 | 申请日： | 2022-05-11 |
| 公开（公告）号： | CN114974215A | 公开（公告）日： | 2022-08-30 |
| 发明（设计）人： | 赵鹏;唐宝威;韩莉 | 申请（专利权）人： | 安徽大学 |
| 主分类号： | G10L15/02 | 分类号： | G10L15/02;G10L15/26;G10L15/06;G10L15/16;G10L25/03;G10L25/24;G10L25/57;G10L25/30;G06V40/16;G06V20/40;G06N3/04;G06N3/08 |
| 代理公司： | 合肥兴东知识产权代理有限公司 34148 | 代理人： | 王伟 |
| 地址： | 230601 安徽*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及语音技术领域，公开了一种基于音视频双模态的语音识别方法及系统，方法包括获取待处理的音频数据和视频数据；对音频数据进行特征提取，得到音频特征；采用3D和2D卷积网络对视频数据进行特征提取，得到视频特征；采用基于Transformer的双向信息交互的编码器，对音频特征和视频特征进行编码；采用基于Transformer的音视频解码器，预测出当前时间步的字符的状态码，获得音视频对应的预测状态序列；将状态序列一一映射为文本，得到文本信息。该方法不仅有效且鲁棒，且可满足用户嘈杂环境下的语音识别需求，提高语音识别结果准确度，增强用户体验。 | ||
| 搜索关键词： | 基于 视频 双模 语音 识别 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽大学，未经安徽大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210515512.6/，转载请声明来源钻瓜专利网。
