[发明专利]基于双向GRU和注意力机制的船舶监控视频关键帧提取方法

说明书

本发明公开了基于双向GRU和注意力机制的船舶监控视频关键帧提取方法，包括以下步骤：步骤S1:使用大量的海边船舶监控视频数据集训练双向GRU和注意力机制模型。步骤S2:使用经过训练的双向GRU和注意力机制模型对船舶监控视频进行关键帧提取，提供快速检索船舶的关键帧集合。采用本发明的技术方案，将关键帧提取应用到船舶监控视频中，剔除了大量冗余视频帧，提供船舶事件的高效检索和浏览,节约了视频存储的开销；同时，采用双向GRU和注意力机制对视频帧的前后关系进行建模，将时间信息融合进模型中，且每个时刻的信息给予不同的权重，即每个时刻给予不同的关注程度，得到更符合人类语义的关键帧集合。

技术领域

本发明涉及基于船舶视频内容的快速检索和船舶数据的轻量存储，尤其涉及基于双向GRU和注意力机制的船舶监控视频关键帧提取方法。

背景技术

视频已经成为视觉信息最常见的来源之一。视频数据的规模正在急速扩大，对于每天上传到Youtube的视频，个人用户需要超过100年的时间才能全部看完。那么自动的分析和理解视频内容的工具就显得非常重要。特别地说，自动视频关键帧提取技术能够帮助用户浏览视频数据。效果好的视频关键帧集合能够简洁的表示原来的视频，提取出重要的事件，用简短可看的关键帧摘要表示原有视频的内容。随着海边监控摄像头的部署，产生了大量的船舶视频，带来了昂贵的存储。对于海量的监控船舶的视频数据，存在着大量的冗余，我们可以通过关键帧的提取，简洁表达其中的船舶运行事件，提供快速的船舶事件检索和浏览服务。

表示基于视频内容的事件需要提取整个视频中最富含信息和最简练表达的视频帧。这些帧被叫做关键帧。视频关键帧的提取可分为有监督的方法和无监督方法。无监督方法包括基于视频镜头的关键帧提取方法，基于视频内容分析的方法，基于动作分析的关键帧提取方法，基于聚类的关键帧提取方法。相对于无监督方法来说，有监督方案直接从人为制作的视频关键帧标注中学习潜在的关键帧选取标准，同时这些被选取的帧与人类对视频内容的理解会更加的相似。现有有监督关键帧提取方案主要存在以下两个问题：

1、现有的关键帧提取往往会忽略视频帧之间的联系，针对视频语义的视频关键帧提取，我们不仅要利用上视频帧的视觉特征，还需要利用视频帧之间的关系，如果丢失时间上的联系，会很大程度脱离视频关键帧的提取标准。

2、对于视频关键帧的提取，常常会忽略视频帧序列中的关注性问题，相邻的帧可能对该帧的关键性进行增益和抑制，缺乏对这种注意力机制的建模，对于关键帧的提取带了负面的效果。

故，针对现有技术的缺陷，是有必要提出一种能够解决现有问题的技术方案。

发明内容

有鉴于此，有必要提出基于双向GRU和注意力机制的船舶监控视频关键帧提取方法，将关键帧提取应用到船舶监控视频中，剔除了大量冗余视频帧，提供船舶事件的高效检索和浏览,节约了视频存储的开销。同时，采用双向GRU和注意力机制对视频帧的前后关系进行建模，将时间信息融合进模型中，且每个时刻的信息给予不同的权重，即每个时刻给予不同的关注程度，得到更符合人类语义的关键帧集合。

为了克服现有技术的缺陷，本发明的技术方案如下：

基于双向GRU和注意力机制的船舶监控视频关键帧提取方法，包括以下步骤：

步骤S1：使用大量的海边监控视频数据集训练双向GRU和注意力机制模型；

步骤S2：使用经过训练的双向GRU和注意力机制模型对船舶监控视频进行关键帧提取，提供快速检索船舶的关键帧集合；

其中，所述步骤S1进一步包括：

步骤S11：获取海边关于船舶监测的视频数据，并进行预处理和标注；

所述步骤S11进一步包括：