[发明专利]多粒度级联交互网络的跨模态时序行为定位方法及装置有效
| 申请号： | 202210052687.8 | 申请日： | 2022-01-18 |
| 公开（公告）号： | CN114064967B | 公开（公告）日： | 2022-05-06 |
| 发明（设计）人： | 王聪;鲍虎军;宋明黎 | 申请（专利权）人： | 之江实验室 |
| 主分类号： | G06F16/735 | 分类号： | G06F16/735;G06F16/78;G06F16/783;G06N3/04;G06N3/08;H04N19/149;H04N19/21 |
| 代理公司： | 杭州浙科专利事务所(普通合伙) 33213 | 代理人： | 孙孟辉;杨小凡 |
| 地址： | 310023 浙江省杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了多粒度级联交互网络的跨模态时序行为定位方法及装置，用于解决未修剪视频中基于给定文本查询的时序行为定位问题。本发明实施一种新的多粒度级联跨模态交互网络，以由粗到细的方式进行级联跨模态交互，用以提升模型的跨模态对齐能力。此外，本发明引入了一种局部‑全局上下文感知的视频编码器(local‑global context‑aware video encoder)，用于提升视频编码器的上下文时序依赖建模能力。本发明实现方法简单，手段灵活，在提升视觉‑语言跨模态对齐精度方面具有优势，且训练所得模型在成对的视频‑查询测试数据上可显著提升时序定位准确度。 | ||
| 搜索关键词： | 粒度 级联 交互 网络 跨模态 时序 行为 定位 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于之江实验室，未经之江实验室许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210052687.8/，转载请声明来源钻瓜专利网。
