[发明专利]一种自适应时序移位神经网络时序行为识别方法

权利要求书

1.一种自适应时序移位神经网络时序行为识别方法，其特征是包括以下步骤：

步骤1、采集多个时间点的特征并建模：

建立一个时序移位模型，模型包含时间T和特征通道数C两个维度，特征通道C被分为多份，其中一份向上一时刻移位，另一份向下一时刻移位，其余份不进行移位，经过移位后，新的特征通过线性插值来获得，如下：

式中，；，其中T为时序维度，C是特征通道数，N是与时序无关的其他维度；表示自适应时序移位神经网络中可学习的移位变量，其中i=1,2,3…C，即i的个数与特征通道数一致；v表示移位速率，表示当前时刻，表示特征通道C其中的一份向上一时刻移位，表示特征通道C其中的另一份向下一时刻移位，表示通过线性插值获得的新的特征；

步骤2、引入自适应时序移位神经网络学习每一层网络所需的感受野：

利用卷积神经网络预先提取视频序列的视觉特征，对于视频数据的每一帧图像，将其转化为RGB分布图，并生成对应的光流图：

首先将每1帧图像上的每一像素点取坐标点，将坐标点转化为光流，计算出光流约束方程：

式中，表示像素点取坐标点对应的灰度值，表示目标图像的运动时间，为目标视频的帧率的倒数；表示的是灰度对时间的变化率，表示的是灰度值在x方向上的空间梯度，表示的是灰度值在y方向上的空间梯度，和v分别代表x方向和y方向上的光流速度；

利用空间流和时间流网络对时序光流特征建模来挖掘序列中的行为一致性：

式中，表示在建模过程中对应的RGB参数，表示在建模过程中对应的光流参数；其中z的取值区间为[0，1]，表示sigmoid激活；表示RGB特征，表示光流特征，表示上一时刻的RGB特征对应空间流网络和时间网络的全连接层，表示上一时刻的光流特征对应空间流网络和时间网络的全连接层；表示当前时刻的RGB特征对应空间流网络和时间网络的全连接层，表示当前时刻的光流特征对应空间流网络和时间网络的全连接层；

训练上述移位变量：

式中，表示第i个输入单元和隐藏单元相关联的权值向量，表示对输入向量x进行非线性变换，表示对神经元的权重向量激活函数转换，将输入向量x赋值为，n表示神经网络的级数，b表示偏量，表示经过训练后的移位变量；

其中，

式中，表示与分离超平面垂直的权向量，b表示超平面的偏置向量，表示第i个输入单元和隐藏单元相关联的权值向量，表示训练周期。

2.根据权利要求1所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，步骤2用于进行时序行为识别，并不指定所输入的数据，所输入的数据包括但不限于RGB视频、光流视频、骨骼点视频。