[发明专利]基于双向GRU和注意力机制的船舶监控视频关键帧提取方法

摘要

本发明公开了基于双向GRU和注意力机制的船舶监控视频关键帧提取方法，包括以下步骤：步骤S1:使用大量的海边船舶监控视频数据集训练双向GRU和注意力机制模型。步骤S2:使用经过训练的双向GRU和注意力机制模型对船舶监控视频进行关键帧提取，提供快速检索船舶的关键帧集合。采用本发明的技术方案，将关键帧提取应用到船舶监控视频中，剔除了大量冗余视频帧，提供船舶事件的高效检索和浏览,节约了视频存储的开销；同时，采用双向GRU和注意力机制对视频帧的前后关系进行建模，将时间信息融合进模型中，且每个时刻的信息给予不同的权重，即每个时刻给予不同的关注程度，得到更符合人类语义的关键帧集合。

主权项

1.基于双向GRU和注意力机制的船舶监控视频关键帧提取方法，其特征在于，包括以下步骤：步骤S1：使用大量的海边监控视频数据集训练双向GRU和注意力机制模型；步骤S2：使用经过训练的双向GRU和注意力机制模型对船舶监控视频进行关键帧提取，提供快速检索船舶的关键帧集合；其中，所述步骤S1进一步包括：步骤S11：获取海边关于船舶监测的视频数据，并进行预处理和标注；其中，所述步骤S11进一步包括：S111：采用固定视频采样率对视频进行帧采样，得到图像序列；按照每帧图像对船舶事件的贡献进行标注，如果是关键帧，标记为y＝1；如果不是关键帧，标记为y＝0；从而构成提供有标签的视频帧数据集，以支持后续的模型训练；步骤S12：将标注好的关键帧标签存在MySQL数据库中；步骤S13：从MySQL数据库中获取视频帧标签数据；使用特征提取方法对视频的每帧进行处理，获取关于每帧的特征向量，结合标注的标签，对双向的GRU和注意力关键帧提取模型进行训练；所述步骤S13进一步包括：步骤S131：假设f＝{f1,f2,...,ft,...fT}是视频帧的集合，通过公开数据集上预训练过的图像分类模型的特征提取部分对每一帧图像进行特征提取,得到的特征向量集合为x＝{x1,x2,...,xt,...xT}，xt是在t时刻获取的视觉特征，ft是视频采样后在t时刻的视频帧，两个集合下标相对应；T是该视频进行帧采样后包含的视频帧总数目；步骤S132：使用双向GRU对视频帧之间的联系进行建模，GRU是其基本单元，GRU的核心是记忆细胞,它能将该时刻之前所观察到的输入信息进行编码；下面为t‑1时刻到t时刻，记忆细胞中状态的变化：zt＝σ(Wz·[ht‑1,xt])rt＝σ(Wr·[ht‑1,xt])其中，GRU有两个门，重置门rt和更新门zt；ht‑1是t‑1记忆细胞的输出状态，ht是t时刻的记忆细胞的输出状态；xt是上一步得到的视频帧特征向量，σ是sigmod函数，Wz和Wr分别是更新门和重置门的权重，[]表示两个向量相连，*表示点乘，·表示矩阵相乘；直观的来讲，重置门rt决定保留多少前一个时刻的输出信息；更新门zt不仅决定选择遗忘多少前一个时刻的信息，而且对当前时刻的信息进行控制；为了对前后的帧联系信息都进行编码，使用双向的GRU对视频帧序列分别进行前向和反向编码；步骤S133:在双向GRU网络的加上注意力机制：ut＝tanh(Wwht+bw)其中，h_t是t时刻双向GRU网络的隐藏层输出，通过单层感知器将h_t编码成包含时间信息的高层语义输出u_t，W_w是单层感知器的权重，b_w是偏置，tanh是激活函数；u_w是图像序列的语义向量，将该向量与每个时间点的高层语义输出状态u_t的做内积，然后通过softmax得到每个时间点的隐含状态的对整个语义的贡献概率a_t；是经过注意力机制后t时刻的视频帧语义向量；步骤S134:对上一步得到的通过全连接层对每帧进行二分类,得到预测值p；该损失函数选为交叉熵损失函数：通过批量随机梯度下降法，梯度反向传播对该模型包含的权重参数进行优化，得到上述模型的最优化参数θ；所述步骤S2进一步包括：步骤S21：使用训练好的基于双向GRU和注意力的船舶监控视频关键帧提取模型，预测历史固定时间段的监测视频数据是否存在船舶运行事件的关键帧，预测的结果index_x＝{index_x1,index_x2...,index_xt}，index_xt等于1或者0；所述步骤S21进一步包括：步骤S211：对于输入的视频数据进行帧采样，得到固定时间段的视频帧序列集合T₁是双向GRU训练的时间步长；步骤S212：将G输入到预训练好的特征提取模型，得到特征向量集合x,将特征集合x输入到双向GRU和注意力机制关键帧提取模型中，预测出该视频帧序列是否包含关键帧，记做结果向量index_x，联合结果向量index_x和原先的视频帧序列，挑选出关键帧图像K＝{k1,k2,..kr}加入到MySQL数据库中,r为原来视频帧序列G中的关键帧数目；步骤S22：按照上面的步骤，迭代训练好的双向GRU和注意力机制关键帧提取模型，得到监控视频中所有关于船舶事件的关键帧集合，并存储在MySQL数据库中。