[发明专利]一种基于图卷积神经网络的视频智能拆条方法

说明书

本发明公开了一种基于图卷积神经网络的视频智能拆条方法，包括关键帧提取、帧间相似度计算和帧聚类三个步骤。首先，基于帧间差分实现关键帧提取，将差距较大的相邻帧作为关键帧；然后，通过Siamase孪生网络得到相似度矩阵，矩阵中的元素即为关键帧之间的欧氏距离；最后，利用相似度矩阵和关键帧之间的时序关系构建拓扑图，通过卷积神经网络对关键帧进行聚类，实现故事分类，从而达到视频智能拆条目的。本发明可以准确地将视频划分为具有特定语义的视频片段，具有显著的应用价值。

技术领域

本发明属于人工智能技术领域，涉及一种视频智能拆条方法，具体涉及一种基于图卷积神经网络的视频智能拆条方法。

技术背景

随着移动互联网的深入发展、用户使用习惯的转变，用户对短视频的需求日益增多。目前大部分视频拆分都是由人工逐帧预览的手动拆条，不仅耗时费力也不满足新媒体视听节目快速发布的时效性要求。因此视频智能拆条技术的应用可以大大提高工作效率，有效提高新媒体的传播速度。它通过对非结构化的视频数据进行特征或结构分析，采用视频分割技术快速地把一个长视频，按照内容情节拆分成多个独立的具有特定语义的短视频片段。

现有的对新闻视频进行拆分的方法大致分为两类。第一类利用视频中主题单元变换时的镜头时空特征对新闻视频进行划分，比如语音停顿、说话者的改变、主播的出现等。但是这种传统的方法普适性不强，只能用于某些特定的视频。

第二类利用文本识别和拼接或音频处理等对同一个故事中的连续镜头进行合并来检测故事边界。判断两个镜头是否属于同一个故事的准则为两个镜头对应的语义是否具有关联性。基于语义相似性评估的故事分割方法，其依据为多个镜头之间的视觉相似性与时域距离长短。现有研究利用镜头中提取的多种音频-视频特征来评估语义相似性。但是在新闻视频中，一个故事的镜头之间并非严格遵循语义相似度的原则。因此，对于镜头之间缺乏语义相关的故事片段，这种方法就无法准确地分割。

综上，现有故事分割方法均局限于某一种特定的视频场景与内容，不能适用于一般性的视频场景。

发明内容

为了解决上述技术问题，本发明提出了一种基于图卷积的方法来对视频进行智能拆分，通过Siamase网络和图卷积网络来提取特征和拆分视频，将视频划分为具有特定语义的视频片段。

本发明所采用的技术方案是：一种基于图卷积神经网络的视频智能拆条方法，其特征在于，包括以下步骤：

步骤1：针对原始输入视频，使用帧间差分法提取关键帧；

步骤2：构建Siamase深度学习网络，提取关键帧的特征向量，通过计算帧间欧式距离建立相似度矩阵；

步骤3：利用图卷积网络对关键帧进行聚类，实现视频智能拆条。

与现有的视频智能拆条方案相比，本发明具有以下的优点与积极效果：

1)本发明中涉及的方法不依赖于新闻视频特定的场景切换标志(如主持人)和镜头间语义上的关联，可处理任意场景的新闻视频，具有普适性强的优点。

2)本发明通过计算帧间相似度、分析关键帧之间的时序关系，利用图卷积网络对关键帧进行聚类，能够快速、准确地实现视频智能拆分。

附图说明

图1：本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于图卷积神经网络的视频智能拆条方法，包括以下步骤：

步骤1：使用帧间差分的方法实现关键帧提取；