[发明专利]一种基于自注意力机制的多模态LSTM的视频动作预测方法

权利要求书

1.一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，该方法包括以下步骤：

步骤1：准备训练数据集并针对原视频进行预处理得到RGB图片和光流图片；

步骤2：基于RGB图片和光流图片通过TSN网络提取RGB特征和光流特征，基于训练数据集通过Faster-RCNN目标检测器得到与目标检测相关的特征；

步骤3：建立基于自注意力机制的多模态LSTM网络模型，并将步骤2中得到的RGB特征和光流特征以及与目标检测相关的特征输入至该网络模型中训练，输出各自对应的动作种类分布张量；

步骤4：建立融合网络为动作种类分布张量分配权重并与动作种类分布张量相结合得到最终视频动作预测结果。

2.根据权利要求1所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述的步骤1包括以下分步骤：

步骤101：选取用于训练得到与目标检测相关的特征的数据集；

步骤102：按照设定帧率分解原视频提取得到RGB图片；

步骤103：采用TVL1算法针对原视频提取得到光流图片。

3.根据权利要求2所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述步骤101中的数据集采用EPIC-KITCHENS数据集和EGTEA Gaze⁺数据集。

4.根据权利要求2所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述步骤102中的设定帧率为30fps。

5.根据权利要求1所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述的步骤2包括以下分步骤：

步骤201：预先训练完毕原TSN网络，得到预训练的TSN网络模型；

步骤202；去除原TSN网络中的分类层，加载预训练的TSN网络模型，得到基于双流法原理的TSN网络；

步骤203：将RGB图片和光流图片输入至基于双流法原理的TSN网络中，从该网络中的global pooling层输出提取对应的RGB特征和光流特征；

步骤204：利用数据集的目标标注训练Faster-RCNN目标检测器得到与目标检测相关的特征。

6.根据权利要求5所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述步骤202中的基于双流法原理的TSN网络所对应的训练过程的初始学习率设为0.001，采用随机梯度下降的标准交叉熵损失函数训练160个epoch，当在第80个epoch后，学习率减少10倍。

7.根据权利要求5所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述步骤204中的数据集采用EGTEA Gaze⁺数据集。

8.根据权利要求1所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述步骤3包括以下分步骤：

步骤301：建立基于自注意力机制的多模态LSTM网络模型，其包括由位置编码模块和自注意力机制模块组成的编码器和多层独立的LSTM网络，其中：

所述位置编码模块，用于编码视频中的帧的绝对位置和相对位置以得到对应的位置的特征序列；

所述自注意力机制模块，用于进一步挖掘位置的特征序列中的语义以得到对于视频的全局描述；

步骤302：将步骤2中得到的RGB特征和光流特征以及与目标检测相关的特征输入至基于自注意力机制的多模态LSTM网络模型中训练，输出各自对应的动作种类分布张量。

9.根据权利要求8所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述步骤302中的将步骤2中得到的RGB特征和光流特征以及与目标检测相关的特征输入至基于自注意力机制的多模态LSTM网络模型中训练所对应的训练过程的学习率设为0.005，采用随机梯度下降的标准交叉熵损失函数训练100个epoch，动量设为0.9。

10.根据权利要求8所述的一种基于自注意力机制的多模态LSTM的视频动作预测方法，其特征在于，所述LSTM网络的层数为2层。