[发明专利]用于动作的时间轴定位的低通滤波方法

说明书

一种用于动作的时间轴定位的低通滤波方法，步骤1：使用时空特征提取器提取整个输入视频的特征；步骤2：根据提取的整个输入视频的特征，利用相关动作提议算法计算得到动作提议；步骤3：对每个动作提议对应的特征使用低通滤波过滤掉部分高频信息；步骤4：使用时序下采样计算得到动作提议对应的特征；以及步骤5：使用动作提议对应的特征计算动作最终对应的位置和类别。本发明方法使用低通滤波去除动作的时间轴定位模型中存在的混叠问题，通过动态地调整截断频率，同时也保存了部分重要的高频信息，因此能够有效地提升模型的检测性能。

技术领域

本发明涉及视频分析技术领域，尤其是用于动作的时间轴定位的低通滤波方法。

背景技术

动作的时间轴定位是计算机视觉领域中的一个重要任务，其主要关注点在于检测出视频中所存在的动作。目前这项技术主要借助深度神经网络来实现。其以视频作为输入，以视频中动作的开始位置，结束位置以及类别作为输出。一般步骤包括：

步骤1.提取视频的特征；

步骤2.根据视频特征预测出动作提议，这里动作提议是指的初步的动作预测；

步骤3.根据动作提议的位置以及视频特征计算出动作提议对应的特征，并进一步预测出动作实例最终的位置及类别。

在大多数动作的时间轴定位模型中，步骤1一般由时空特征提取器(比如TSN)来完成；步骤2可分为单阶段和双阶段两种实现方式：单阶段一般采用设定好的具有不同位置和形状的锚框作为动作提议；双阶段则采用一些经典算法来计算得到的动作提议；步骤3将动作提议的特征输入到后续的分类器和回归器中，以预测动作的位置和类别。

在传统的动作的时间轴定位模型中，时序下采样技术(比如平均值池化、最大值池化以及平均采样)被广泛地应用于步骤二提取动作提议特征的过程中。然而这些时序下采样技术往往设计简单，缺乏对于下采样系数与原始信号频率之间关系的考虑，经常在频域上造成的混叠问题。

发明内容

本发明的用于动作的时间轴定位的低通滤波方法，使用低通滤波去除动作的时间轴定位模型中存在的混叠问题，通过动态地调整截断频率，同时也保存了部分重要的高频信息，因此能够有效地提升模型的检测性能。

本发明的技术方案如下：

本发明的用于动作的时间轴定位的低通滤波方法，包括如下步骤：步骤1：使用时空特征提取器提取整个输入视频的特征；步骤2：根据提取的整个输入视频的特征，利用相关动作提议算法计算得到动作提议；步骤3：对每个动作提议对应的特征使用低通滤波器过滤掉部分高频信息；步骤4：使用时序下采样计算得到动作提议对应的特征；以及步骤5：使用动作提议对应的特征计算动作最终对应的位置和类别。

优选的，在上述用于动作的时间轴定位的低通滤波方法中，在步骤3中，部分高频信息为动作提议对应区域特征的高频通带。

优选的，在上述用于动作的时间轴定位的低通滤波方法中，在步骤5中，将步骤4的动作提议对应的特征输入到分类器和回归器，计算出动作最终的位置和类别，并输出最终预测的动作结果。

根据本发明的技术方案，产生的有益效果是:

本发明在时序下采样操作(如最大值池化，均值采样等)之前插入低通滤波器过滤掉了部分高频信息，去除了动作的时间轴定位模型中存在的混叠问题；同时本发明设计对不同的动作提议学习不同的截断频率从而调整去混叠和保存高频信息之间的关系，从而使得低通滤波器在去除混叠的同时尽可能多的保存高频信息，避免了由于去除过多的高频信息而导致的模型检测性能的下降。

为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

附图说明