[发明专利]基于卷积神经网络的视频描述方法及装置

说明书

本发明实施例提供一种基于卷积神经网络的视频描述方法及装置，针对待描述视频提取出视觉特征序列后，将该视觉特征序列输入至编码器，由编码器对视觉特征序列进行计算，得到待描述视频的各视频帧的状态向量，然后根据各状态向量确定出平均池化结果并输入至解码器，由解码器根据平均池化结果生成与待描述视频相对应的描述结果。该过程中，利用基于卷积神经网络的编码器‑解码器对待描述视频进行描述，以得到符合人类自然语言且不呆板的描述结果，从而提升视频描述结果。基于卷积神经网络的编码器的前向卷积结构使得计算能够并行化，能够对待描述视频的长序列依赖关系进行建模，解码器能够避免递归神经网络容易出现的梯度弥散和爆炸问题。

技术领域

本发明实施例涉及视频描述技术领域，尤其涉及一种基于卷积神经网络的视频描述方法及装置。

背景技术

目前，理解视频内容并使用自然语言对视频进行描述，是计算机视觉和多媒体领域中倍受关注的课题。视频描述是指针对给定的视频，通过观察该视频包含的内容，生成相应的句子。

传统的视频描述方法是采用递归神经网络学习视频描述模型，该视频描述模型包括编码器和解码器。训练好视频描述模型后，将待描述视频输入到视频描述模型，由视频描述模型对待描述视频进行学习，得到描述结果。示例性的，视频描述模型基于模板的方法，分析待描述视频，识别待描述视频中存在的物体，以及物体之间的关系，然后采用固定的语言模板，如主语+谓语+宾语，从所识别的物体中确定主语、宾语，并将物体之间的动作关系作为谓语，从而生成待描述视频的描述结果。

上述视频描述过程中，描述结果很大程度上依赖于给定的句子模板，导致生成的描述结果句式固定，句式过于单一，缺乏人类自然语言表达色彩。

发明内容

本发明实施例提供一种基于卷积神经网络的视频描述方法及装置，以实现提供视频描述质量的目的。

第一方面，本发明实施例提供的一种基于卷积神经网络的视频描述方法，包括：

对待描述视频的每一视频帧提取视觉特征，得到视觉特征序列；

将所述视觉特征序列中的视觉特征依次输入编码器，得到各所述视频帧的状态向量，所述状态向量包含对应视频帧的上下文语义；

确定各所述视频帧的状态向量的平均池化结果；

将所述平均池化结果输入至解码器，以获得与所述待描述视频对应的描述结果，其中，所述编码器和所述解码器是通过卷积神经网络算法学习到的。

一种可行的设计中，所述将所述平均池化结果输入至解码器，以获得与所述待描述视频对应的描述结果，包括：

确定所述待描述视频的中间向量，所述中间向量是所述平均池化结果经过所述解码器中预设层数的卷积块后得到的；

根据所述中间向量和所述状态向量，确定时序注意力值；

根据所述时序注意力机制和所述中间向量，获得与所述待描述视频对应的描述结果。

一种可行的设计中，所述对待描述视频的每一视频帧提取视觉特征，得到视觉特征序列之前，还包括：

利用卷积神经网络算法对训练集包含的视频-描述对进行训练，得到所述编码器和/或所述解码器，所述训练集合包含至少一对训练视频和所述训练视频对应的描述结果。

一种可行的设计中，所述利用卷积神经网络算法对训练集包含的视频-描述对进行训练，得到所述编码器，包括：

对于所述训练集中的每一个训练视频，对所述训练视频的每一视频帧提取视觉特征，得到训练视觉特征序列，所述训练视频包含N帧，所述训练视觉特征序列v＝(v₁，v₂，……v_N)；