[发明专利]一种基于深度特征的无约束重复动作计数方法

说明书

本发明公开了一种基于深度特征的无约束重复动作计数方法，其特征在于，具体步骤包括如下：构建BN‑Inception网络，并进行深度特征提取；将提取的深度特征进行降维，得到降维后的周期图；利用傅里叶变换对所述周期图进行分段阈值滤波，得到光滑的频率图；根据滤波后的频率图进行计数。本发明提供了一种基于深度特征的无约束重复动作计数方法，为了捕获较鲁棒的运动特征并有效的避免相机移动的干扰，对捕获的视频提取RGB和光流图,在此基础上使用深度ConvNets进行特征提取，基于特征值寻找体现重复动作的运动规律，使用变周期的傅里叶变换来处理复杂场景的非静止的视频动态，获取明显的运动频率，更好的统计重复运动次数。

技术领域

本发明涉及深度学习技术领域，更具体的说是涉及一种基于深度特征的无约束重复动作计数方法。

背景技术

视觉重复在现实生活中无处不在，它出现在体育运动、音乐弹奏和工人做工等诸多相关应用场景中。在计算机视觉中，理解视频中的重复动作非常重要，它可以服务于视频中动作分类、分割和运动规律分析。由于重复运动的动作模式存在多样性，同时在视频捕获过程中不可避免的存在相机移动，使得视频重复动作估计具有一定的挑战性。

近年来，在捕获的视频场景中，对于相同动作连续循环运动进行分析并计数引起了研究者的关注。在重复动作计数任务中，对固定场景的特定动作进行研究，假设重复运动是静态的并且具有强周期性，通过传统的特征提取方法获取目标的运动特性进行分析，并取得了较显著的研究效果。然而真实的生活场景是复杂多变的，通过模拟多种重复运动模式感知，进行匹配计数，但重复运动并不代表运动具有固定周期，即使同一运动方式在外观形态、运动形式和运动频率也会有各式各样的变化。

现存方法在视频动作周期性任务中取得了显著成果，Burghouts等人提出了一种用于估计视频重复的时空滤波器组，他们的过滤器可以在线工作，并且在正确调整时非常有效，然而他们的实验仅限于静止运动，并且滤波器组需要手动调整。Laptev等人将匹配用于动作计数，利用视点变化时同一运动多次重复产生的几何约束来检测和分割重复运动，虽然这可能为计数系统奠定基础，但并没有完成对计数的评估。以及后续的研究将重复的三维重建作为研究重点，应用如步态识别。基于匹配视觉描述符开发了两个自相关计数系统，虽然这两个系统都显示了计数应用程序的屏幕截图，但它们都是后处理方法，只适用于受限视频的特定领域。

真实的生活场景往往是复杂多变的，即使是同一重复运动的频率和外观模态也会呈现较大差异，所以对于适用于特定领域，并且对于样本数据的限定，现有技术中的重复动作计数方法，无法得到大范围应用。

因此，如何提供一种适于多种样本数据，简单灵活的无约束重复动作计数方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于深度特征的无约束重复动作计数方法，为了捕获较鲁棒的运动特征并有效的避免相机移动的干扰，对捕获的视频提取RGB和光流图，在此基础上使用深度ConvNets进行特征提取，基于特征值寻找体现重复动作的运动规律，使用变周期的傅里叶变换来处理复杂场景的非静止的视频动态，获取明显的运动频率，更好的统计重复运动次数。

为了实现上述目的，本发明提供如下技术方案：

一种基于深度特征的无约束重复动作计数方法，具体步骤包括如下：

构建BN-Inception网络，并进行深度特征提取；

将提取的深度特征进行降维，得到降维后的周期图；

利用傅里叶变换对所述周期图进行分段阈值滤波，得到光滑的频率图；

根据滤波后的频率图进行计数。