[发明专利]基于注意力机制的视频哈希检索方法

权利要求书

1.一种基于注意力机制的视频哈希检索方法，其特征在于该方法包括以下步骤：

(1)视频预处理：对视频帧进行采样，并构建视频对，视频对包括同一类的视频对和不同类的视频对，同一类的视频对为正样本对且标签为1，不同类的视频对为负样本对且标签为0；

(2)视频帧特征提取：将视频采样后的每一帧输入卷积神经网络VGG19，取倒数第二层全连接输出的特征作为每一帧的特征；

(3)利用孪生网络、长短期记忆神经网络LSTM和注意力机制对视频进行学习：将视频对中的两个视频分别输入孪生网络的两路神经网络，分别得到两个视频对应的视频特征表示，其中，孪生网络的两路神经网络是参数共享的，且每一路神经网络都是LSTM和注意力机制构成的网络，利用注意力机制，可以区别不同帧的重要性，不同帧被赋予不同的权重；

(4)降维和训练：利用全连接层对视频特征进行降维，得到想要长度的哈希码，并使用梯度下降算法学习网络参数；

(5)检索：当网络训练完成后进行检索时，只利用孪生网络中的一路网络，将一个视频输入到一路网络中，输出该视频对应的值为-1到+1的近似哈希码，然后通过量化得到该视频的哈希码，并通过计算该视频的哈希码与其他视频哈希码之间的海明距离对候选视频进行排序，得到最相近的视频。

2.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(1)的具体实现步骤是：

①对视频帧进行均匀采样，每个视频都均匀地抽取特定数量的视频帧；

②将每一帧都调整为相同大小的帧；

③构建视频对，包括同类的样本对和不同类的样本对，同类视频对和不同类视频对的比例是1:1，构造视频对时，随机选择一个视频，然后从余下的视频中随机选取一个同类的视频，随机选取一个不同类的视频，这样可以构造一个正样本视频对和一个负样本视频对。

3.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(2)的具体实现步骤是：

①对每一帧利用卷积神经网络进行特征提取，得到每一帧的特征；

②每一个视频用一个矩阵表示。

4.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(3)的具体实现步骤是：

①构建孪生网络；

②将每个视频输入到长短期记忆神经网络LSTM中，得到每一个时间步的输出；

③利用注意力机制计算每一个时间步输出的向量的权重，并对每一个时间步得到的输出进行加权求和，得到视频的整体特征表示，具体实现方法为：LSTM每个时间步都会接收一个视频帧作为输入，并产生一个输出，将每个时间步产生的输出作为注意力机制的输入，通过计算得到每个时间步的权重，再对每个时间步的输出进行加权计算，得到最后的视频表示，计算过程如下：

h＝[h₁；h₂；...；h_t]，

r＝tanh(W^Th+u)，

α＝softmax(r)，

H＝[h₁，h₂，...，h_t]，

s＝Hα，

其中，h为所有LSTM时间步输出的向量拼接成的向量，W为权重矩阵，tanh为双曲正切激活函数，α为r经过softmax函数得到的权重，H为所有LSTM时间步输出的向量组成的矩阵，s为LSTM所有时间步输出对α的加权和，代表经过注意力机制后的视频表示。

5.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(4)的具体实现步骤是：

①设置三个全连接层，逐步对视频特征进行降维；

②利用梯度下降算法对网络的参数进行优化。

6.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(5)的具体实现步骤是：

①将一个视频输入到孪生网络的一路网络中，然后得到该视频对应的值为-1到+1的近似哈希码；

②然后通过量化将小于0的值量化为-1，其他值量化为+1，这样就得到该视频的哈希码；

③通过计算和其他视频哈希码之间的距离来对候选视频进行排序，得到最相近的视频。