[发明专利]一种基于多尺度视频特征融合的语音唇读方法及系统有效
| 申请号： | 202110716761.7 | 申请日： | 2021-06-28 |
| 公开（公告）号： | CN113450824B | 公开（公告）日： | 2022-08-16 |
| 发明（设计）人： | 熊盛武;曾瑞;陈燚雷 | 申请（专利权）人： | 武汉理工大学 |
| 主分类号： | G10L25/24 | 分类号： | G10L25/24;G10L19/16;G06V40/20;G06V40/16;G06V20/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人： | 罗飞 |
| 地址： | 430070 湖*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于多尺度视频特征融合的语音唇读方法及系统，其中，基于多尺度视频特征融合的语音唇读方法，步骤如下：首先将输入视频的视频帧和语音分离，视频帧用不同大小的滑动窗口划分为多个尺度并构造出n个时间金字塔，再利用3D卷积提取各时间金字塔内各时间尺度的视频特征之后，将视频特征通过多尺度特征融合模块，得到一个固定维度的中间向量，然后再通过使用解码器将中间特征向量合成对应语音的Mel频谱图，最后将得到的Mel谱通过声码器合成语音。本发明主要应用于语音唇读，大大改善了语音合成的效果。 | ||
| 搜索关键词： | 一种 基于 尺度 视频 特征 融合 语音 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉理工大学，未经武汉理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110716761.7/，转载请声明来源钻瓜专利网。
