[发明专利]基于多模态预训练模型的跨模态理解与生成方法和装置有效
| 申请号： | 202110653593.1 | 申请日： | 2021-06-11 |
| 公开（公告）号： | CN113591902B | 公开（公告）日： | 2022-09-27 |
| 发明（设计）人： | 刘静;朱欣鑫;刘飞;郭龙腾 | 申请（专利权）人： | 中国科学院自动化研究所 |
| 主分类号： | G06V10/774 | 分类号： | G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 程琛 |
| 地址： | 100190 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于多模态预训练模型的跨模态理解与生成方法和装置，方法包括：确定待处理的多模态信息，多模态信息包括图像、文本和音频；将多模态信息输入至多模态预训练模型，学习所述多模态信息的相互关联，得到多模态信息的融合表示，将融合表示输入至理解和/或生成单元执行跨模态理解与生成任务，得到理解结果和/或生成结果。本发明提供的方法和装置，结合图像、文本和音频三个模态进行理解与生成，实现了信息的充分应用。跨模态理解和跨模态生成两个任务的结合，使得多模态预训练模型能够更加全面地进行特征提取和跨模态关联构建，从而进一步提高跨模态理解与生成的准确性。 | ||
| 搜索关键词： | 基于 多模态预 训练 模型 跨模态 理解 生成 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所，未经中国科学院自动化研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110653593.1/，转载请声明来源钻瓜专利网。
