[发明专利]一种提取短视频主题的方法

权利要求书

1.一种提取短视频主题的方法，其特征在于，包括有：

步骤一、将短视频按照一定间隔的帧长切分成M张视频截帧图片；

步骤二、采用迁移学习方式，使用卷积神经网络获取M张视频截帧图片的视频空间特征向量集合Y＝[y₁,y₂,...,y_M]，其中，y₁、y₂、…、y_M分别是每张视频截帧图片通过卷积神经网络所获得的视频空间特征向量；

步骤三、按短视频的播放时序，将M张视频截帧图片的视频空间特征向量构成一个特征向量时间序列，将特征向量时间序列输入双向循环神经网络，从而输出一个视频空间-时间特征序列集合H＝[h₁,h₂,...,h_M]，其中，h₁、h₂、…、h_M分别是输出的视频空间-时间特征序列集合H中的每个视频空间-时间特征序列；

步骤四、采用注意力机制，计算视频空间-时间特征序列集合H中每个视频空间-时间特征序列对其他视频空间-时间特征序列的注意力，并根据注意力对视频空间-时间特征序列集合H中的每个视频空间-时间特征序列进行调整，从而获得新的视频空间-时间特征序列集合Q＝[q₁,q₂,...,q_M]，其中，q₁、q₂、…、q_M分别是根据注意力而调整后的视频空间-时间特征序列；

步骤五、将新的视频空间-时间特征序列集合Q再展开成一个视频空间-时间特征向量Z，对视频空间-时间特征向量Z进行线性变换，然后采用归一化指数函数分别计算短视频归属各个主题的概率，以据此提取短视频的主题。

2.根据权利要求1所述的方法，其特征在于，步骤二进一步包括有：

步骤21、基于ImageNet公开数据集，采用迁移学习方式，构建、并训练Inception-v3预训练卷积神经网络模型，模型的输入是视频截帧图片，输出是视频截帧图片归属于不同主题的概率；

步骤22、将M张视频截帧图片分别输入到步骤21训练好的卷积神经网络模型中，并从卷积神经网络模型中提取倒数第二层的输出作为每张视频截帧图片的视频空间特征向量，由M张视频截帧图片的视频空间特征向量构成视频空间特征向量集合Y＝[y₁,y₂,...,y_M]，以作为M张视频截帧图片的内容特征。

3.根据权利要求1所述的方法，其特征在于，步骤三采用Bidirectional LSTM算法。

4.根据权利要求1所述的方法，其特征在于，步骤四进一步包括有：

步骤41、计算视频空间-时间特征序列集合H中每两个视频空间-时间特征序列之间的关系值：其中，f(h_i,h_j)是H中的第i个视频空间-时间特征序列和第j个视频空间-时间特征序列之间的关系值，W_θ(h_i)、分别是对h_i、h_j进行非线性变换后的值，W_θ(h_i)^T是对W_θ(h_i)进行转置；

步骤42、分别计算视频空间-时间特征序列集合H中每个视频空间-时间特征序列对于其他视频空间-时间特征序列的注意力：其中，a_i^j是第i个视频空间-时间特征序列对于第j个视频空间-时间特征序列的注意力，s_i^j＝f(h_i,h_j)；

步骤43、根据注意力对视频空间-时间特征序列集合H中的每个视频空间-时间特征序列进行调整，计算公式如下：其中，q_i是根据注意力而调整后的第i个视频空间-时间特征序列，h_j是视频空间-时间特征序列集合H的第j个视频空间-时间特征序列，从而构成新的视频空间-时间特征序列集合。