[发明专利]基于查询的无监督深度学习的多视频摘要方法有效

专利信息
申请号: 201910023842.1 申请日: 2019-01-10
公开(公告)号: CN109857906B 公开(公告)日: 2023-04-07
发明(设计)人: 冀中;张媛媛;庞彦伟 申请(专利权)人: 天津大学
主分类号: G06F16/738 分类号: G06F16/738;G06V10/762;G06V10/82;G06V20/40;G06N3/0464;G06N3/0442;G06N3/08
代理公司: 天津市北洋有限责任专利代理事务所 12201 代理人: 刘国威
地址: 300072*** 国省代码: 天津;12
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明涉及视频摘要处理,为提出一种能够结合视频的视觉信息和与主题相关的先验信息,利用受限玻尔兹曼机思想的多视频摘要方法,本发明基于查询的无监督深度学习的多视频摘要方法,首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧;然后将融合的视频特征作为可见层H0输入到深层架构以构造具有隐藏层H1的多层受限玻尔兹曼机RBM,在第一层RBM进行两个不同的过程,包括:基于查询的初始权重设置和查询导向惩罚过程;随后通过低层参数自下而上连接到RBM网络的第二、三层;在基于深层体系结构的概念提取之后,通过更高层的隐藏层H3输出简洁且有意义的多视频摘要。本发明主要应用于视频摘要处理。
搜索关键词: 基于 查询 监督 深度 学习 视频 摘要 方法
【主权项】:
1.一种基于查询的无监督深度学习的多视频摘要方法,其特征是,首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧,提取4096维的VGG卷积神经网络特征和256维的颜色特征;然后将融合的4352维的视频特征作为可见层H0输入到深层架构以构造具有隐藏层H1的多层受限玻尔兹曼机RBM,为了整合文档摘要的查询信息,在第一层RBM进行两个不同的过程,包括:基于查询的初始权重设置和查询导向惩罚过程;随后通过低层参数自下而上连接到RBM网络的第二、三层;在基于深层体系结构的概念提取之后,通过更高层的隐藏层H3输出简洁且有意义的多视频摘要。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201910023842.1/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top