[发明专利]一种实时的动作时序定位方法

说明书

本发明提供了一种实时的动作时序定位方法，包括：从深度动作序列中逐帧跟踪人体关节点，计算关节运动信息，将这些运动信息组成一个按时间和关节序列排序的密集关节运动矩阵；在此密集关节运动矩阵的基础上，再通过双线性二次插值算法生成多个时序纬度统一的动作矩阵，使深度神经网络可对多个时间尺度的样本集进行训练；引入空间金字塔池化层代替经典卷积神经网络中的flatten层，以得到可以接受任意输入尺寸的改进后的卷积神经网络；使用长时优先时间探进策略，用于定位连续行为视频中的动作。本发明能够解决现有技术动作识别方面的准确率和识别效率较低，无法做到实时检测的问题。

技术领域

本发明涉及动作时序定位技术领域，特别是涉及一种实时的动作时序定位方法。

背景技术

人体动作识别（HAR）具有广泛的工业应用，如视频检索、视频摘要、虚拟现实和人机交互等。近年来，借助深度学习技术，HAR的准确率有所提高。然而，在实践中，人类行为视频通常又长又复杂，并且包含多个不同的动作。基于此，动作时序定位（TAL）吸引了越来越受到研究人员的关注，TAL旨在识别长而复杂的视频中每个动作的开始关键帧（SKF）和结束关键帧（EKF），TAL主要回答两个问题：动作什么时候发生和结束、动作属于什么类别。

TAL的传统主流方法都是基于手工制作的特征，包括局部特征和全局特征。尺度不变特征变换（SIFT）特征、定向梯度直方图（HOG）特征以及人体轮廓和轮廓特征是最常用于此目的的特征。所有这些基于特征的方法都遵循类似的处理方法。首先，在时间维度的帧中检测兴趣点。然后，跟踪每个兴趣点的轨迹。最后，将所有兴趣点的轨迹以数学方式作为一个整体进行描述，并将它们分为不同的类别。改进的密集轨迹（iDT）和支持向量机（SVM）算法是当时最具代表性的描述符和分类器算法。

虽然很多以“个性化改进 + iDT”为基本结构的方法都达到了最先进的性能，但不可否认手工制作的特征有一定的局限性，借助深度学习技术，尤其是卷积神经网络（CNN），可以比以前更容易地提取深度特征。因此，包括HAR和TAL在内的许多任务的工作经历了巨大的发展。基于2D-CNN的方法已被用于从预处理的运动图像中学习判别特征，例如光流(OF)特征、运动历史图像(MHI)、静态历史图像(SHIs)、运动能量图像(MEIs)和其他变体。这些经典的运动图像可以很好地处理时间信息，并将来自多帧的信息压缩成具有统一尺寸的运动图像。与2D-CNN方法相比，基于3D-CNN的方法提供了一种更简单的方法来处理时间信息。这种方法总是在端到端框架中使用。然而，基于3D-CNN的方法在长时间视频处理方面存在局限性，因为它们对计算能力的需求很大。为了减少输入参数，在基于3D-CNN或长短期记忆(LSTM)的方法中普遍采用使用预训练2D-CNN的方法。在单动作检测领域，目前新兴的方法可以达到95%甚至更高的准确率。然而，这些方法仍然不是长时视频中TAL的最终解决方案。

由于人类的单一行为是由一系列动作组成的，因此将长时间视频分割成若干帧长度的片段，并将每个片段划分为不同的类别，是处理长时间视频TAL问题的最直接方法。这种“先提出再分类”的方法被称为两阶段定位方法。提取高质量的时间建议是这种方法的核心步骤。滑动窗口自然成为这一任务的典型代表方法。一般情况下，当连续滑动窗之间的重叠足够高时，最终的TAL结果较好。然而，过高的滑动窗口重叠将导致难以承受的计算负荷。与两阶段方法不同，单阶段方法同时处理提案和分类。另外，一些基于顺序决策过程的方法也可以归为单阶段框架。一般来说，单阶段方法在效率上有优势，并且总是在端到端框架中使用。从本质上讲，单阶段方法仍然遵循与两阶段方法相同的基本规则。它可以看作是两阶段方法+融合算法。然而，现有技术中的单阶段TAL方法，在动作识别方面的准确率以及识别效率均有待提高，且无法做到实时检测。

发明内容

本发明的目的在于提出一种“一步式”的实时的动作时序定位方法，以解决现有技术动作识别方面的准确率和识别效率较低，且无法做到实时检测的问题。

一种实时的动作时序定位方法，包括：