[发明专利]一种自适应时序移位神经网络时序行为识别方法

说明书

本发明提出了一种自适应时序移位神经网络时序行为识别方法，首先采集多个时间点的特征并建模；接着引入自适应时序移位神经网络学习每一层网络所需的感受野；最后训练可学习的移位变量，对骨骼点数据进行修正。本发明能够自适应的学习每一层网络所需的感受野，并且能够自适应的学习每种数据集所需的感受野。自适应时序移位神经网络能够针对不同的数据学习出不同的时间移位向量，从而自适应的适应不同的数据分布。通过本发明提出的时序行为识别方法，能够在提高行为检测精度的同时节省计算资源，这种自适应的学习比普通时间卷积的手工调参更加优越。

技术领域

本发明涉及一种自适应时序移位神经网络时序行为识别方法，涉及一般的图像数据处理或产生G06T领域，尤其涉及G06T 7/20运动分析领域。

背景技术

随着人工智能的发展，对人体行为进行识别受到越来越多的关注。对人体行为进行识别可以应用在安防、人机交互等领域。

行为识别的研究中，一个热点问题就是如何进行时序行为识别。所谓时序行为，指的是无法通过单帧图像来判断，需要通过观察一个时序动作来判断的行为。例如站起来和坐下去，这两个行为就难以通过单帧图像来区分，只有观察一个时序片段才能区分。即使是一些和时序先后顺序不那么强的行为（如拍手，握手等），在引入时序建模之后往往也会有精度的提升。

现有的用于时序移位方法是通过一个时序移位模块来对不同时间点的特征进行建模，对于时序卷积和时序移位方法，其感受野的大小是人为指定的，而这种人为指定的感受野并不适合时序行为识别任务；在时序行为识别中，不同数据库需要不同的感受野，这就导致不同数据库上需要进行大量的调参实验。

发明内容

发明目的：一个目的是提出一种自适应时序移位神经网络时序行为识别方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。

技术方案：一种自适应时序移位神经网络时序行为识别方法，包括以下步骤：

步骤1、采集多个时间点的特征并建模；

步骤2、引入自适应时序移位神经网络学习每一层网络所需的感受野。

在进一步的实施例中，所述步骤1进一步包括：建立一个时序移位模型，模型包含时间T和特征通道数C两个维度，特征通道C被分为多份，其中一份向上一时刻移位，另一份向下一时刻移位，其余份不进行移位，经过移位后，新的特征通过线性插值来获得，如下：

式中，；，其中T为时序维度，C是特征通道数，N是与时序无关的其他维度；表示自适应时序移位神经网络中可学习的移位变量，其中i=1,2,3…C，即i的个数与特征通道数一致；v表示移位速率，表示当前时刻，表示特征通道C其中的一份向上一时刻移位，表示特征通道C其中的另一份向下一时刻移位，表示通过线性插值获得的新的特征。

在进一步的实施例中，步骤1中：

利用卷积神经网络预先提取视频序列的视觉特征，对于视频数据的每一帧图像，将其转化为RGB分布图，并生成对应的光流图：

首先将每1帧图像上的每一像素点取坐标点，将坐标点转化为光流，计算出光流约束方程：