[发明专利]一种基于图卷积神经网络的视频智能拆条方法

权利要求书

1.一种基于图卷积神经网络的视频智能拆条方法，其特征在于，包括以下步骤：

步骤1：针对原始输入视频，使用帧间差分法提取关键帧；

步骤2：构建Siamase深度学习网络，提取关键帧的特征向量，通过计算帧间欧式距离建立相似度矩阵；

步骤3：利用图卷积网络将关键帧聚类，实现视频智能拆条；

步骤3的具体实现包括以下子步骤：

步骤3.1：把每一个关键帧当成一个枢纽，根据相似度矩阵和时序关系构建实例枢纽子图G_p(V_p,E_p)，其中，V_p表示枢纽p邻居结点的集合，E_p表示p实例枢纽子图的边集；对于任意一个枢纽p，若结点和它的相似度在50％以上以及该结点的帧号与枢纽帧号差值在55以内则把该结点添加到V_p中，然后以同样的方式搜寻V_p中结点v_l的邻居结点，并在v_l和它的邻居结点之间建立边，其中，l表示结点序号；

步骤3.2：把实例枢纽子图输入到图卷积神经网络中处理，输出衡量每个结点和枢纽结点相连可能性的分数；

特征在层与层之间的传播方式用公式表示如下：

Hⁱ＝f(H^i-1,A)，其中H⁰＝X；

F(Hⁱ,A)＝σ(AHⁱWⁱ)；

其中Hⁱ是第i层的特征矩阵，当i＝0时，H⁰就表示输入图的节点特征矩阵X；A是输入图的邻接矩阵，Wⁱ表示第i层的权重矩阵，σ表示非线性激活函数；通过邻接矩阵左乘特征矩阵，实现特征的聚合操作，然后再右乘权重矩阵，实现加权操作；优化函数使用交叉熵损失函数；

步骤3.3：使用概率分布函数Softmax将向量转换为概率，得到整个图的权重矩阵，每个权重表示结点和枢纽之间存在链接的可能性；然后使用宽度优先搜索算法传播伪标签合并所有可能相连的结点；最后把链接可能性较小的结点之间的边切断，获得最终的聚类。

2.根据权利要求1所述的基于图卷积神经网络的视频智能拆条方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：读取视频并依次计算每两帧之间的帧间差分，进而得到平均帧间差分强度D(x,y)；

其中，f_k(x,y)和f_k+1(x,y)分别为第k帧和k+1帧图像，w和h为图像的长和宽；

步骤1.2：基于步骤1.1得到的平均帧间差分强度，选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧。

3.根据权利要求2所述的基于图卷积神经网络的视频智能拆条方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：构建Siamase深度学习网络模型，在所述网络模型内部搭建两个相同、权重共享的CNN网络；

步骤2.2：输入成对的图片训练网络模型，提取特征向量，计算帧间欧氏距离，直至通过特征向量能够判断帧间相似性；

步骤2.3：将相邻两个关键帧成对输入到网络模型中，通过卷积、激活、池化和全连接后，输出两个128维的向量；

步骤2.4：计算这两个特征向量的欧式距离D(x₁,x₂)，比较相似度；D(x₁,x₂)越小，向量之间的相似度越大，反之相似度越小；然后通过循环和迭代建立一个n×n的相似度矩阵，矩阵中的每个值表示两张图片之间的相似度，其中，n表示有n个关键帧；

其中，j表示关键帧的序号。