[发明专利]基于卷积神经网络的视频描述方法及装置

权利要求书

1.一种基于卷积神经网络的视频描述方法，其特征在于，包括：

对待描述视频的每一视频帧提取视觉特征，得到视觉特征序列；

将所述视觉特征序列中的视觉特征依次输入编码器，得到各所述视频帧的状态向量，所述状态向量包含对应视频帧的上下文语义；

确定各所述视频帧的状态向量的平均池化结果；

将所述平均池化结果输入至解码器，以获得与所述待描述视频对应的描述结果，其中，所述编码器和所述解码器是通过卷积神经网络算法学习到的。

2.根据权利要求1所述的方法，其特征在于，所述将所述平均池化结果输入至解码器，以获得与所述待描述视频对应的描述结果，包括：

确定所述待描述视频的中间向量，所述中间向量是所述平均池化结果经过所述解码器中预设层数的卷积块后得到的；

根据所述中间向量和所述状态向量，确定时序注意力值；

根据所述时序注意力机制和所述中间向量，获得与所述待描述视频对应的描述结果。

3.根据权利要求1或2所述的方法，其特征在于，所述对待描述视频的每一视频帧提取视觉特征，得到视觉特征序列之前，还包括：

利用卷积神经网络算法对训练集包含的视频-描述对进行训练，得到所述编码器和/或所述解码器，所述训练集合包含至少一对训练视频和所述训练视频对应的描述结果。

4.根据权利要求3所述的方法，其特征在于，所述利用卷积神经网络算法对训练集包含的视频-描述对进行训练，得到所述编码器，包括：

对于所述训练集中的每一个训练视频，对所述训练视频的每一视频帧提取视觉特征，得到训练视觉特征序列，所述训练视频包含N帧，所述训练视觉特征序列v＝(v₁，v₂，……v_N)；

将所述训练视觉特征序列输入到待训练编码器，所述待训练编码器包含L个卷积块，L≥2且为整数；

对所述待训练编码器包含L个卷积块进行训练，得到所述编码器。

5.根据权利要求4所述的方法，其特征在于，所述对所述待训练编码器包含L个卷积块进行训练，得到所述编码器，包括：

根据第l-1个卷积块的输出结果，确定第l个卷积块的输出结果，其中，所述第l-1个卷积块的输出结果为第l个卷积块的输出结果为所述表示第l个卷积块对所述训练视频的第i帧的视觉特征的输出结果；

根据所述L个卷积块中各卷积块的输出结果，对所述L个卷积块进行训练，得到所述编码器。

6.根据权利要求5所述的方法，其特征在于，所述根据第l-1个卷积块的输出结果，确定第l个卷积块的输出结果，包括：

将所述p^l-1中的子序列输入至所述第l个卷积块中的第一一维卷积，得到所述子序列中每个采样位置的偏移量，所述第l个卷积块的卷积核大小为k，所述p^l-1中的子序列为r_n表示所述R中的第n个元素；

根据所述p^l-1中的子序列的每个采样位置的偏移量，对所述p^l-1中的子序列中对应的采样位置进行偏移，得到中间子序列；

将所述中间子序列输入至所述第l个卷积块的第二一维卷积，得到所述第二一维卷积的输出结果；

根据所述第二一维卷积的输出结果和门线性单元，确定所述第l个卷积块的输出结果。

7.根据权利要求3所述的方法，其特征在于，所述利用卷积神经网络算法对训练集包含的视频-描述对进行训练，得到所述解码器，包括：

对于所述训练集中的每一个训练视频，对所述训练视频的平均池化结果和所述训练视频对应的描述结果输入到待训练解码器，所述待训练解码器包含M个卷积块，M≥2且为整数；

对所述待训练解码器包含的M个卷积块进行训练，得到所述解码器。