[发明专利]一种基于多模态特征结合多层注意力机制的结合视频描述方法

摘要

本发明公开了一种基于多模态特征结合多层注意力机制的结合视频描述方法，本发明首先统计描述语句中出现的单词，形成词汇表，并为每个词进行编号，方便进行向量表示。然后提取三种特征数据，包括语义属性特征、2D‑CNN提取的图像信息特征和3D‑CNN提取的视频运动信息特征，再通过多层注意力机制对其进行多模态数据动态融合，得到视觉信息，然后根据当前上下文，调整对视觉信息的使用；最后，根据当前上下文及视觉信息，生成视频描述的单词。本发明通过多层注意力机制对视频的多模态特征进行融合后，再基于此生成视频的语义描述，有效提升了视频描述的准确性。

主权项

1.基于多模态特征结合多层注意力机制的结合视频描述方法，其特征在于，包括下列步骤：步骤1：数据预处理：统计描述语句中出现的单词，形成词汇表，并为词汇表中的每个单词编号；对每个单词进行编码，得到每个单词的二进制向量表示；步骤2：提取多源数据特征：通过二维卷积神经网络提取视频中的图像信息的特征，得到第一特征信息其中N₁表示提取的图像信息的特征数量；通过三维卷积神经网络提取视频中的运动信息的特征，得到第二特征信息其中N₂表示提取的运动信息的特征数量；提取视频中的视频语义属性的特征，得到第三特征信息其中N₃表示提取的视频语义属性的特征数量；其中，三类特征信息中的各特征的特征维度相同；步骤3：通过多层注意力机制来进行多模态数据动态融合：步骤301：采用注意力机制分别关注三类特征信息F、V和A，得到当前关注后的特征信息F(t)、V(t)和A(t)，其中t表示当前时刻；其中，当前关注后的特征信息X∈{F,V,A}，特征数N∈{N₁,N₂,N₃}，表示第i个特征X_i的当前注意力权重，且当前注意力权重向量的计算方式为：α^(t)＝softmax(e^(t))；其中e(t)表示通过LSTM网络的隐藏状态和特征信息X产生的未正规化权重，且e(t)＝wX·tanh(WXh(t‑1)+UXX+bX)，其中h(t‑1)表示LSTM网络在上一时刻的隐藏状态，wX、WX、UX和bX表示LSTM网络的输入为特征信息X时的网络参数，UX表示输入层到隐藏层的权重矩阵，WX表示隐藏层到隐藏层的权重矩阵，wX表示隐藏层到输出层的权重向量，bX表示偏置项；步骤302：拼接三类特征信息F(t)、V(t)和A(t)，得到特征拼接矩阵Fu＝[F(t)；V(t)；A(t)]；计算通过LSTM网络的隐藏状态和特征拼接矩阵Fu产生的未正规化权重ε(t)＝w·tanh(Wh(t‑1)+UX+b)，其中w、W、U和b表示LSTM网络的输入为Fu时的网络参数，U表示输入层到隐藏层的权重矩阵，W表示隐藏层到隐藏层的权重矩阵，w表示隐藏层到输出层的权重向量，b表示偏置项；基于当前正规化权重ε(t)计算各类特征的融合权重β(t)＝softmax(ε(t))；基于各类特征的融合权重，对矩阵F_u按照特征维度进行加权融合，得到当前视觉信息步骤4：根据公式Z^(t)＝γ^(t)W_zFu^(t)+(1‑γ^(t))U_zh^(t‑1)对视觉信息进行调整，得到调整后的视觉信息Z^(t)；其中，γ^(t)表示通过上下文信息所确定的下一个单词所需要的视觉信息的权重，W_z表示对应的输入层到隐藏层的权重矩阵，U_z表示对应的隐藏层到隐藏层的权重矩阵；步骤5：将调整后的视觉信息Z(t)与上一次产生的单词对应的向量y(t‑1)输入到LSTM中，得到词汇表中每个词作为当前产生的单词的概率，选取概率最大的单词作为当前产生的单词，并判断当前产生的单词是否为结束符，若是，则终止，否则继续执行步骤3，产生下一个单词。