[发明专利]一种基于全卷积网络的视频关键帧提取方法

说明书

本发明公开了一种基于全卷积网络的视频关键帧提取方法，所述方法包括：将原始视频输入到预训练的卷积网络中进行特征提取，输出特征向量X；将所述特征向量X输入交叉注意力模块，经过关联操作和聚合操作，输出特征向量H'；将所述特征向量H'和所述卷积网络的低层网络的输出特征向量F同时输入通道注意力模块，输出特征向量H；利用解码器对所述特征向量H进行特征重建，获得最终重建特征，并基于所述最终重建特征获取视频帧，确定为视频关键帧。应用本发明，能提高提取视频关键帧的精确度。

技术领域

本发明属于视觉处理技术领域，具体地说，是涉及视频关键帧提取技术，更具体地说，是涉及基于全卷积网络的视频关键帧提取方法。

背景技术

随着视频采集设备的日益普及和成本的不断降低，近几年来视频数据量急剧增加，视频已经成为最重要的视觉数据形式之一。由于视频数据量巨大，人类观看这些视频并识别有用信息是不现实的。根据思科2017年视觉网络指数，预计到2021年，每个人每月要观看上传到互联网上的所有视频，大约需要500万年。因此，开发能够高效浏览海量视频数据的计算机视觉技术变得越来越重要。

视频摘要作为一种有前途的工具，有助于处理大量的视频数据。给定一个输入视频，视频摘要的目标是创建一个较短的视频，捕获输入视频的重要信息。视频摘要在许多实际应用中都很有用，例如，在视频监控中，人们浏览监控摄像头拍摄的许多个小时的视频，既繁琐又费时，如果能提供一个简短的摘要视频，从长视频中捕捉重要信息，这将大大降低视频监控所需的人力资源。视频摘要还可以在视频搜索、检索和理解方面提供更好的用户体验。由于短视频更易于存储和传输，因此它们对移动应用程序非常有用。摘要视频还可以帮助许多下游视频分析任务，例如，在短视频上运行任何其他分析算法(如动作识别)都更快。

视频摘要的核心工作是提取视频关键帧。现有技术中，通常将关键帧提取看作是一个序列标记问题，其中每个帧被分配一个二进制标签来指示它是否在摘要视频中被选择；然后使用LSTM(长短期记忆网络)或其变体来解决该问题。优点是LSTM能够捕获帧间的长距离结构依赖关系；缺点是LSTM中的计算通常是左偏右的。这意味着必须一次处理一个帧，并且每个帧必须等到前一帧处理完成之后，才能处理。一些方法使用双向LSTM(BiLSTM)解决该问题，但双向LSTM的任何一个方向的计算仍然存在相同的问题，并且大大增加计算量。在此基础上，现有技术出现了同时处理所有帧的全卷积网络模型。简单来说，全卷积网络指的是不存在全连接层的网络模型。采用全卷积网络模型提取视频关键帧，在一定程度上简化了网络模型结构，提高了运行速度。

但是，现有采用全卷积网络提取视频关键帧的技术，忽视了视频帧之间的长距离依赖关系，不能充分利用上下文信息，影响视频关键帧的提取精确度，进而降低了基于视频关键帧形成的视频摘要的准确性。

发明内容

本发明的目的是提供一种基于全卷积网络的视频关键帧的提取方法，提高提取关键帧的精确度。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种基于全卷积网络的视频关键帧提取方法，包括：

将原始视频输入到预训练的卷积网络中进行特征提取，输出特征向量X；所述卷积网络中不具有全连接层；

将所述特征向量X输入交叉注意力模块，经过关联操作和聚合操作，输出特征向量H'；

将所述特征向量H'和所述卷积网络的低层网络的输出特征向量F同时输入通道注意力模块，输出特征向量H；

利用解码器对所述特征向量H进行特征重建，获得最终重建特征，并基于所述最终重建特征获取视频帧，确定为视频关键帧；所述解码器采用转置卷积层实现。

如上所述的方法，所述卷积网络为残差网络，所述残差网络的最后一层为1*1的卷积层，所述残差网络中的部分卷积层为空洞卷积层。