[发明专利]基于查询的无监督深度学习的多视频摘要方法

权利要求书

1.一种基于查询的无监督深度学习的多视频摘要方法，其特征是，首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧，提取4096维的VGG卷积神经网络特征和256维的颜色特征；然后将融合的4352维的视频特征作为可见层H⁰输入到深层架构以构造具有隐藏层H¹的多层受限玻尔兹曼机RBM，为了整合文档摘要的查询信息，在第一层RBM进行两个不同的过程，包括：基于查询的初始权重设置和查询导向惩罚过程；随后通过低层参数自下而上连接到RBM网络的第二、三层；在基于深层架构的概念提取之后，通过更高层的隐藏层H³输出多视频摘要。

2.如权利要求1所述的基于查询的无监督深度学习的多视频摘要方法，其特征是，具体的，提取视频视觉特征，使用VGG卷积神经网络和颜色特征得到镜头检测候选关键帧的4352维融合特征，记为f＝[f₁,f₂,...f_i,...,f_v]，f_i表示第i帧的特征。

3.如权利要求1所述的基于查询的无监督深度学习的多视频摘要方法，其特征是，为了得到与主题相关度高的视频摘要，借助查询的网络图像的辅助信息，在第一层RBM中进行查询面向初始权重设置和查询导向惩罚两方面的操作，Q＝[q₁,q₂,...,q_i,...,q_m]表示查询的网络图像特征集合，m表示网络图像集合帧的个数；

在随机初始化设置后，如果第i个H⁰中的节点帧与查询网络图像的平均相似性大于0.5，进行公式(15)操作：

其中，是H⁰中的可见单元i和H¹中隐藏单元j之间的对称交互项；

在惩罚过程中，与主题相关程度高的候选关键帧的重构错误比其它帧惩罚更多；

其中γ是惩罚因子，s_i表示第i个候选关键帧与主题相关程度，定义为sim(·,·)表示余弦相似性。

4.如权利要求1所述的基于查询的无监督深度学习的多视频摘要方法，其特征是，在基于深层体系结构的概念提取之后，重要性矩阵AF如公式(17)所示：

其中K₃表示隐藏层H³中单元总数，A¹,A²,A³是层对中的对称交互项；

从隐藏层H³输出中选择重要性分数前80％的帧作为多视频摘要结果，输出关键帧集合F，得到简介且有意义的多视频摘要。