[发明专利]基于感知上下文堆叠式注意力的视频描述生成算法

权利要求书

1.一种基于感知上下文堆叠式注意力的视频描述生成方法，其特征在于，采用两种基于高层语义的视频描述，即感知上下文的堆叠式注意力网络和感知语法知识的树结构生成网络；在感知上下文的堆叠式注意力网络对生成过程中所产生的视觉上下文信息和语义上下文信息分别进行建模，并通过堆叠式架构设计引入对多模态特征的处理；同时，在训练阶段，引入强化学习和迭代式生成的训练方式，以进一步提高模型性能；

具体步骤为：

步骤1、视频特征提取：对视频进行编码，对每个视频分别对二维卷积特征和三维卷积特征进行编码；

步骤2、全局特征编码：利用步骤1所提取出的视频特征，首先需要对视频特征的全局信息进行建模；

步骤3、局部特征提取：在步骤2提取全局特征之后，进行局部信息的建模；

步骤4、上下文特征融合解码：为了显式收集和使用在生成过程中的历史信息，利用注意力机制从三种不同的上下文信息中进行信息融合，并解码生成视频描述。

2.根据权利要求1所述基于感知上下文堆叠式注意力的视频描述生成算法，其特征在于，步骤1所述视频编码的具体过程为：

针对每个视频，使用固定采样方式选择28帧作为关键帧表示；对于二维卷积特征，采用ImageNet数据集上预训练的InceptionResNet2网络，在每个关键帧上提取1，536维特征；对于三维卷积特征，以关键帧作为中心帧取前后相连时间段构成28个短片段，并利用Kinetics-400数据集上预训练的C3D网络，在每个片段上提取2，048维特征；最终，对视频中的每个关键帧，将其1，536维二维卷积特征和2，04维三维卷积特征直接拼接作为动作特征，表示为{V_m，1，V_m，2，...，V_m，n}，其中n表示动作特征的数量；

此外，对每个关键帧，为提取其物体特征，使用MSCOCO数据集上预训练的Faster R-CNN模型，在每个关键帧上提取5个物体作为局部细节特征；对于被选择的物体，利用ResNeXt-101模型提取其512维特征表示；物体特征表示为{V_o，1，V_o，2，...，V_o，k}，其中k表示物体特征的数量。

3.根据权利要求2所述基于感知上下文堆叠式注意力的视频描述生成算法，其特征在于，步骤2所述全局特征编码的具体处理过程为：

采用上一时间段堆叠网络的最终输出、动作特征和物体特征的平均值、以及上一步的预测输出作为下一时刻堆叠式网络第一层的输入，并将输出进行LayerNorm标准化，具体算式如下：

其中，表示上一个时间段堆叠网络的最终输出；和分别表示动作特征和物体特征的平均值；[；]表示对特征的连接操作；表示堆叠式网络第一层的输出；W_e表示词向量的矩阵；w^t-1表示前一个单词的独热码；GRU₁表示门控循环单元模型；表示当前步骤输入特征集合；LayerNorm₁为标准化。