[发明专利]端到端即文本到视频的视频合成方法、系统介质及应用在审
| 申请号： | 202110406372.4 | 申请日： | 2021-04-15 |
| 公开（公告）号： | CN114338959A | 公开（公告）日： | 2022-04-12 |
| 发明（设计）人： | 徐涛;杨洲;石青松;李梓甜 | 申请（专利权）人： | 西安汉易汉网络科技股份有限公司 |
| 主分类号： | H04N5/222 | 分类号： | H04N5/222;H04N5/262;G10L21/10;G10L21/18;G10L13/04;G10L13/047;G06T13/20;G06T13/40;G06T17/00;G06K9/00;G06N3/04;G06N5/04;H04N21/81 |
| 代理公司： | 北京汇彩知识产权代理有限公司 11563 | 代理人： | 董丽萍 |
| 地址： | 710000 陕西省西安市碑*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于图像数据处理技术领域，公开了一种端到端即文本到视频的视频合成方法、系统、介质及应用，包括：构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；利用GAN网络进行视频合成。本发明效率更高，资源占用更低。 | ||
| 搜索关键词： | 端到端即 文本 视频 合成 方法 系统 介质 应用 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安汉易汉网络科技股份有限公司，未经西安汉易汉网络科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110406372.4/，转载请声明来源钻瓜专利网。
- 上一篇：工件容器系统
- 下一篇：一种可快速连接固定的装配式建筑用连接构件
