[发明专利]基于对偶学习的跨模态文字生成视频的方法及系统有效
| 申请号： | 201910872485.6 | 申请日： | 2019-09-16 |
| 公开（公告）号： | CN110717054B | 公开（公告）日： | 2022-07-15 |
| 发明（设计）人： | 朱文武;刘月;王鑫 | 申请（专利权）人： | 清华大学 |
| 主分类号： | G06F16/435 | 分类号： | G06F16/435;G06F16/438;G06F40/289 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 王艳斌 |
| 地址： | 10008*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于对偶学习的跨模态文字生成视频的方法及系统，其中，该方法包括以下步骤：构建文字到视频的生成模型；构建视频到文字的映射模型；利用对偶学习机制联合训练生成模型和映射模型，以获得训练模型；将预设文字输入训练模型中，以生成对应初始视频；利用映射模型将初始视频映射出新文字，并将新文字反馈给生成模型，以判断新文字与预设文字是否匹配，进而对初始视频进行修复，获得最终映射视频。该方法考虑文字信息和视频信息之间的双向映射，更好地实现文字到视频的生成，同时，也使得生成视频的质量更高，与用户需求匹配度更高。 | ||
| 搜索关键词： | 基于 对偶 学习 跨模态 文字 生成 视频 方法 系统 | ||
【主权项】：
1.一种基于对偶学习的跨模态文字生成视频的方法，其特征在于，包括以下步骤：/n构建文字到视频的生成模型；/n构建视频到文字的映射模型；/n利用对偶学习机制联合训练所述生成模型和所述映射模型，以获得训练模型；/n将预设文字输入所述训练模型中，以生成对应初始视频；/n利用所述映射模型将所述初始视频映射出新文字，并将所述新文字反馈给所述生成模型，以判断所述新文字与所述预设文字是否匹配，进而对所述初始视频进行修复，获得最终映射视频。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学，未经清华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910872485.6/，转载请声明来源钻瓜专利网。
