[发明专利]基于深度迁移学习的视频描述方法

说明书

本发明属于视频处理技术领域，具体是一种基于深度迁移学习的视频描述方法。包括以下步骤，1）通过卷积神经网络视频表示模型，将视频表示为向量形式；2）利用多示例学习构建图像语义特征检测模型，以提取图像域语义特征；3）将步骤2）中的图像语义特征检测模型迁移到帧流域中，得到帧流语义特征检测模型，以提取帧流语义特征，并实现图像域与帧流域语义特征的深度融合；4）构建深度迁移学习视频描述框架，生成视频自然语言描述。本发明对输入端不同域中的语义特征进行深度融合，以提高生成视频描述的准确率。

技术领域

本发明属于视频处理技术领域，具体是一种基于深度迁移学习的视频描述方法。

背景技术

视频描述即为利用自然语言描述视频，是计算机视觉和自然语言处理领域的重点以及难点，在人工智能领域有着广阔的应用前景。

视频描述与图像描述有很大的不同，视频描述不仅要理解每一帧中的物体，而且要理解物体在多帧之间的运动。现有的视频描述方法主要有以下四类：1)将视觉内容中检测到的单词分配给每个句子片段，然后利用预定义的语言模板去生成视频描述。这类方法非常依赖句子模板，生成的句子的句法结构比较固定；2)学习视觉内容与文本句子构成的联合空间的概率分布，生成的句子具有更加灵活的句法结构；3)利用多示例学习去训练属性探测器，然后通过一个基于属性探测器输出的最大熵语言模型去生成视频描述；4)以卷积神经网络与循环神经网络为中心，通过一个简单的线性迁移单元，把从图像与帧流中挖掘到的语义特征整合在一起，生成视频描述。前两类方法在视频描述过程中并未利用语义特征；后两类方法虽然在输入端均考虑到了语义特征，但并未将不同域中的语义特征进行深度融合。

现有视频描述方法描述语义不够准确，为改善描述的准确性，因此设计了一种深度迁移学习视频描述模型。

发明内容

本发明为了解决上述问题，提供一种基于深度迁移学习的视频描述方法。

本发明采取以下技术方案：一种基于深度迁移学习的视频描述方法，包括以下步骤，

1)通过卷积神经网络视频表示模型，将视频表示为向量形式；

2)利用多示例学习构建图像语义特征检测模型，以提取图像域语义特征；

3)将步骤2)中的图像语义特征检测模型迁移到帧流域中，得到帧流语义特征检测模型，以提取帧流语义特征，并实现图像域与帧流域语义特征的深度融合；

4)构建深度迁移学习视频描述框架，生成视频自然语言描述。

所述的步骤1)中，采用卷积神经网络模型完成视频表示的任务，对于视频中的一组采样帧，将每一帧均输入到卷积神经网络模型中，提取第二个全连接层的输出，然后在所有的采样帧上执行均值池化，把一段视频表示为一个n维向量。

所述的步骤2)中，在图像描述标准数据库上采用多示例学习去构建图像语义特征检测模型。

具体如下：

对于一个语义特征w_a，如果w_a存在于图像I的标注文本描述中，那么图像I将被视为一个正包；否则，图像I将被视为一个负包。首先将每个包输入到图像语义特征检测模型中，由全卷积神经网络将每一包分成多个区域，然后根据包中所有区域(示例)的概率来计算包含语义特征w_a的包b_I的概率，如式(1)所示：