[发明专利]一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法有效
申请号: | 201911266940.4 | 申请日: | 2019-12-11 |
公开(公告)号: | CN110933518B | 公开(公告)日: | 2020-10-02 |
发明(设计)人: | 赵洲;许亦陈;肖舒文 | 申请(专利权)人: | 浙江大学 |
主分类号: | H04N21/845 | 分类号: | H04N21/845;H04N21/8549 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 郑海峰 |
地址: | 310058 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法。1)针对一组视频,切割构建视频片段。利用全卷积神经网络,提取视频每个镜头的视觉特征。2)利用局部自注意力机制,学习视频片段中所有镜头之间的语义关系,并生成视频镜头的视觉特征。3)利用查询相关的全局注意力机制,学习视频不同片段之间的语义关系,并生成面向查询的视频镜头的视觉特征。4)计算视频镜头和用户查询之间的相似度得分,用来生成查询相关的视频摘要。相比于一般视频摘要解决方案,本发明利用卷积多层注意力机制,能够更准确地反映查询相关的视频视觉特征,产生更加符合的视频摘要。本发明在视频摘要中所取得的效果相比于传统方法更好。 | ||
搜索关键词: | 一种 利用 卷积 多层 注意力 网络 机制 生成 面向 查询 视频 摘要 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201911266940.4/,转载请声明来源钻瓜专利网。