[发明专利]一种基于动态注意力机制的多事件视频描述方法

权利要求书

1.一种基于动态注意力机制的多事件视频描述方法，其特征在于，包括以下步骤：

步骤一、采用卷积神经网络提取目标视频序列X的视觉特征V；

步骤二、将视频的视觉特征V输入到L层自注意力机制视频编码层，得到视频的编码Fⁱ；

步骤三、利用事件预测层根据视频编码F_i产生对事件的预测φ_i，并选取预测置信度最高的层预测作为最终预测结果φ_k；

步骤四、基于事件预测层的预测结果生成事件j的掩膜采用掩模截取事件j的视觉特征序列：

其中⊙表示矩阵元素依次相乘；

采用平均池化得到事件j的视觉特征向量C_j：

其中n为特征序列的长度；

将事件的视觉特征向量和上下文向量H融合得到调整后的最终特征向量

假设事件j的描述S_j由T_s个单词组成，即则将编码器生成一个单词w视为一个时间周期，则Sj的生成需要T_s个时间周期，则

将事件的视觉特征和上下文特征h_t-1映射到同一个特征空间：

W_v和W_c为视觉特征和上下文特征的映射矩阵，上下文特征h_t-1为LSTM单元在上一个时刻的隐藏状态；h_t的更新由当前输入单词的特征向量E_t，输入视觉特征向量前一个时刻的隐藏状态h_t-1共同决定：其中E_t＝E[w_t-1]，特别地，E₀＝E[＜BOS＞]；

计算上下文特征的门限值E_t为解码器在t时刻的输入词w_t-1的嵌入向量；

采用门限机制将视觉特征和上下文特征融合：事件j的最终特征表示

将事件j的最终特征表示输入LSTM解码器解码，得到事件j的描述S_j。

2.根据权利要求1所述基于动态注意力机制的多事件视频描述方法，其特征在于：所述步骤二中视频的编码步骤为：

将视觉特征V作为第一个编码器层的输入，该层输出为F¹＝E(V)，其余层编码器将前面一层的输出作为输入，编码输出为F^l+1＝E(F^l)。

3.根据权利要求2所述基于动态注意力机制的多事件视频描述方法，其特征在于：每个编码器层均包括一个多头注意力层和一个点式前馈层；

所述多头注意力层计算公式为：

点式前馈层计算公式为：

E(F^l)＝LN(FF(Ω(F^l))，Ω(F^l))

其中，LN(p，q)＝LayerNorm(p+q)，表示在残留输出上进行归一化操作，FF(·)表示第一层具有非线性ReLU激活函数的两层前馈神经网络，是该网络的权值矩阵，为偏置因子，Ω(·)的定义使用了自注意力机制，在第t步的编码过程中，f_t^l被作为注意力层的查询，得到的输出是f_i^l的加权和，其中i＝1，2，...，T。

4.根据权利要求1所述基于动态注意力机制的多事件视频描述方法，其特征在于：所述步骤三中事件预测层根据视频编码Fi产生对事件的预测的具体方法如下：

步骤3.1、将视频编码Fi输入到事件预测层的基础层；

步骤3.2、将基础层的输出特征输入到事件预测层的锚层，逐步减少特征的时间维度；

步骤3.3、将每个锚层的输出输入到预测层，并一次性生成一组固定的事件预测。