[发明专利]一种基于长短时记忆网络变体的视频描述生成方法

权利要求书

1.一种基于长短时记忆网络变体的视频描述生成方法，其特征在于，包括以下步骤：

1)构建视频描述模型，该视频描述模型包括卷积神经网络、视频特征编码模块和描述生成模块；

2)输入待描述的视频，通过卷积神经网络获取初始视频特征；

3)将初始视频特征输入视频特征编码模块进行处理得到带有语义信息的全局视频特征，具体为：

将初始视频特征按时间序列输入到第一LSTM中，获取带有语义信息的全局视频特征；

4)以初始视频特征和带有语义信息的全局视频特征共同输入描述生成模块，并对视频描述模型进行训练，并使用训练好的视频描述模型生成描述句子，所述的描述生成模块包括依次连接的第二LSTM、注意力网络和CaptionNet网络，所述的第二LSTM用于描述CaptionNet网络前面时间步的句子信息，并生成句子特征，所述的注意力网络用于辅助模型选取与当前生成的词最为相关的帧特征，即注意力视频特征，所述的CaptionNet网络为LSTM变体，其输入门和细胞输入仅以注意力视频特征作为输入，其遗忘门和输出门同时以注意力视频特征和句子特征作为输入，对于第二LSTM，在第t时间步，其隐藏层和细胞层的计算式为：

其中，y_t-1为上一时间步视频描述模型所生成的词，W_e为可学习的词嵌入矩阵，分别为第二LSTM的第t-1时间步的隐藏层和细胞层，为第二LSTM的初始隐藏层和细胞层，LSTM₂(·)为第二长短时记忆网络；

使用注意力网络在视频特征时间维度上生成一个概率分布α_t，则有：

α_t＝softmax(z_t)

其中，w_a∈R^H,W_va,W_ha∈R^H×H均为待学习参数；

视频描述模型的具体训练过程具体为：

41)使用交叉损失函数对视频描述模型进行M轮训练；

42)使用强化学习方法优化视频描述模型，在优化过程中，卷积神经网络的参数固定，其他部分进行学习，学习率为5e-5，设为采样得到的词序列，使用损失函数对CIDEr指标进行优化，其梯度的近似计算方式为：

r(Y)＝λ·CIDEr-D(Y)+(1-λ)·BLEU@4(Y)

其中，r(·)为CIDEr指标结合BLEU指标的奖赏函数，b为模型经贪心搜索得到的词序列的奖赏，用以约束梯度变换的幅度，θ为待学习参数，λ＝0.75。

2.根据权利要求1所述的一种基于长短时记忆网络变体的视频描述生成方法，其特征在于，对于第一LSTM，在第i时间步，其第一LSTM的隐藏层和细胞层的计算式为：

其中，v_i为第i时间步视频特征序列中的元素，分别为第一LSTM的第i-1时间步的隐藏层和细胞层，分别为第一LSTM的初始隐藏层和细胞层，LSTM₁(·)为第一长短时记忆网络。

3.根据权利要求1所述的一种基于长短时记忆网络变体的视频描述生成方法，其特征在于，所述的步骤4)中，卷积神经网络输出的初始视频特征经维数变换后使其与注意力网络的维数一致，输入描述生成模块的注意力网络中。

4.根据权利要求1所述的一种基于长短时记忆网络变体的视频描述生成方法，其特征在于，在第t时间步，注意力视频特征的表达式为：

其中，为注意力视频特征，α_tj为概率分布，V′_j为经维数变换后的初始视频特征中的一个特征向量，K为经维数变换后的初始视频特征的个数。