[发明专利]一种由唇部视频直接生成语音的方法有效
| 申请号： | 201810214692.8 | 申请日： | 2018-03-15 |
| 公开（公告）号： | CN108538282B | 公开（公告）日： | 2021-10-08 |
| 发明（设计）人： | 贾振堂 | 申请（专利权）人： | 上海电力学院 |
| 主分类号： | G10L13/08 | 分类号： | G10L13/08;G10L13/027;G10L25/57;G06K9/46;G06K9/00 |
| 代理公司： | 上海科盛知识产权代理有限公司 31225 | 代理人： | 赵志远 |
| 地址： | 200090 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种由唇部视频直接生成语音的方法，包括以下步骤：1)获取唇部视频：采用摄像装置采集包含嘴唇的视频，得到嘴唇部分的视频；2)获取唇部部特征向量：对嘴唇部分的视频中每一帧图像，围绕嘴唇的内唇边缘和外唇边缘提取多个用以描述嘴唇形状的特征点，得到当前帧图像的唇部特征向量，以此获取一系列的唇部特征向量；3)唇音转换：将得到的唇部特征向量输入到唇音转换器中，每间隔一定的时间，唇音转换器将最新缓存的k个唇部特征向量进行一次语音帧参数向量的转换；4)语音合成：根据语音帧参数向量进行语音合成，还原音频采样并输出语音。与现有技术相比，本发明具有无需中间文字、转换效率高、便于训练等优点。 | ||
| 搜索关键词： | 一种 唇部 视频 直接 生成 语音 方法 | ||
【主权项】：
1.一种由唇部视频直接生成语音的方法，其特征在于，包括以下步骤：1)获取唇部视频：采用摄像装置采集包含嘴唇的视频，并提取嘴唇区域，得到嘴唇部分的视频；2)获取唇部部特征向量：对嘴唇部分的视频中每一帧图像，围绕嘴唇的内唇边缘和外唇边缘提取多个用以描述嘴唇形状的特征点，获取特征点的x，y坐标并做归一化处理后得到当前帧图像的唇部特征向量，以此获取一系列的唇部特征向量；3)唇音转换：将得到的唇部特征向量输入到唇音转换器中，唇音转换器将唇部特征向量进行短时缓存，每间隔一定的时间Δt，唇音转换器将最新缓存的k个唇部特征向量进行一次语音帧参数向量的转换，并输出该语音帧参数向量；4)语音合成：根据从唇音转换器输出的语音帧参数向量进行语音合成，将语音帧参数向量合成为语音帧，还原音频采样并输出语音。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海电力学院，未经上海电力学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810214692.8/，转载请声明来源钻瓜专利网。
