[发明专利]基于多尺度密集时序池化的视频时空信息表征方法

说明书

一种基于多尺度密集时序池化的视频时空信息表征方法，具体步骤为：一：输入视频序列；二：通过深度卷积神经网络得到视频基础特征，每个通道特征通过全局平均池化层得到特征表征；三：得到的基本特征通过多尺度的密集池化；四：将所有的尺度与基础特征沿通道合并，并在时序上平均池化，得到最终的视频时空特征表征。本发明对于不同序列长度的视频，本发明可以增加或减少尺度而不影响模型大小和参数量，取得比多尺度空洞卷积等其他方法更好的性能收益；对于时序长度越长的视频序列，通过轻量级多尺度的池化，可以捕捉由短到长的时空线索，获得的效果越好，时长的性能增长更可观；密集型的池化方式可以捕捉视频任意位置之间的周期特征。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于多尺度密集时序池化的视频时空信息表征方法。

背景技术

现有视频分析中的视频时空信息表征技术存在如下缺点：

1、现有的视频表征在时长多尺度存在缺陷。由于视频的运动变化和外观连续性常常跨越多个连续视频帧，代表着视频不同时长的线索。现有的技术多通过时序上的卷积网络或者循环网络的设计进行这种时序上多尺度的特征提取，再通过一定连续帧的时序池化获得视频段级别的特征表征。这些表征方式存在的缺陷在于，基于CNN和RNN的多尺度特征提取方法，如空洞卷积等，只能提取短的局部线索，对于长序列视频段而言，缺乏提取长线索的能力，因此对于长视频序列而言，获得的效果增益不够明显。如果通过增加大尺度，模型付出的复杂度代码较大，且不能获得可观的性能收益。通过多尺度的时序池化，在根源上解决了局部线索时间跨度的问题，可变的池化核大小可以获取不同时长跨度的局部线索，对于长序列视频段而言，可以增加适当的大尺度池化，便可以在不增添复杂度的情况下增加对于长跨度线索的表征，是更优的性能选择。

2、现有的视频表征在时序池化操作上过于单一。现有的视频段级别时空表征技术多通过视频段特征在时序层面上的池化所得，一般固定长度，这意味着不仅在时序池化层面上缺乏多尺度的考量，还缺乏线索周期位置变化的考量。一个局部线索不仅可能跨越的时长多变，还可能起止位置多变。为了解决这个问题，本发明通过每一种尺度下密集型的池化方式，尽可能得捕捉各种变化的局部线索。

3、现有的视频表征算法模型大小需要优化。通过CNN和RNN捕捉多种尺度的线索再实现长尺度线索的提取，需要的模型结构较多，使得模型较大，运行时间较长，不能很好的应用在较长的序列输入和移动端的应用环境。

发明内容

本发明针对现有技术的不足，提出一种基于多尺度密集时序池化的视频时空信息表征方法，多尺度密集型池化的最大特点是轻量级，用多尺度的方法解决长短线索的问题，可以使得模型在基础特征提取模块及最后的全连接分类模块这两种所有视频分析模型的共有模块之外，不需要其他占用大小、加大复杂度的模块，使得模型达到极大的轻量级，能够在提供高的性能结果的同时满足极度轻量级的工业要求。具体技术方案如下：

一种基于多尺度密集时序池化的视频时空信息表征方法，具体步骤为：

步骤一：输入视频序列；

步骤二：通过深度卷积神经网络得到视频基础特征，每个通道特征通过全局平均池化层得到特征表征；

步骤三：得到的基本特征通过多尺度的密集池化；

步骤四：将所有的尺度与基础特征沿通道合并，并在时序上平均池化，得到最终的视频时空特征表征。

为更好的实现本发明，作为优化：所述步骤一具体为，输入视频序列的具体公式为，

其中，T为视频序列帧数，输入为RGB图像序列，所以通道维度为3，H和W是经过数据预处理后输入模型的尺寸；

所述步骤二具体为，通过深度卷积神经网络得到视频基础特征，每个通道特征通过全局平均池化层得到特征表征即每一帧得到C通道的特征作为表征；