[发明专利]一种基于多级编码的文本到视频的跨模态检索方法有效
| 申请号： | 202010060690.5 | 申请日： | 2020-01-19 |
| 公开（公告）号： | CN111309971B | 公开（公告）日： | 2022-03-25 |
| 发明（设计）人： | 董建锋;叶金德;章磊敏;林昶廷;王勋 | 申请（专利权）人： | 浙江工商大学 |
| 主分类号： | G06F16/783 | 分类号： | G06F16/783;G06F16/33 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 刘静 |
| 地址： | 310018 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多级编码的文本到视频的跨模态检索方法，该方法包括：首先获取视频和文本的初步特征，然后通过两个多级编码网络分支分别对两种模态的全局、时序和局部信息进行编码；对于视频端提取音频特征，对于文本端提取句子特征；最后将编码的多个特征进行多级特征融合，得到鲁棒的视频和文本表达。通过全连接层将两个模态的特征映射到一个统一公共空间中，利用公共空间算法学习两个模态之间的关系，通过端到端的方式训练模型，自动学习文本和视频的匹配关系，从而实现文本到视频的跨模态检索。本发明是一种无概念的方法，不需复杂的概念检测操作，就能实现跨模态检索，并且利用了深度学习技术，在很大程度上提高了检索的性能和效率。 | ||
| 搜索关键词： | 一种 基于 多级 编码 文本 视频 跨模态 检索 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江工商大学，未经浙江工商大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010060690.5/，转载请声明来源钻瓜专利网。
