[发明专利]基于视频进行动作识别的方法及系统

权利要求书

1.一种基于视频进行动作识别的方法，包括：

基于所述视频包括的连续帧的数据，使用核互相关器来计算每一帧中跟踪目标的位置；以及

基于每一帧的数据以及每一帧中跟踪目标的位置，使用长短期记忆模型LSTM对视频中的运动特征进行计算。

2.根据权利要求1所述的方法，其中，计算每一帧中跟踪目标的位置包括：

以计算出的前一帧中跟踪目标的位置为中心，在当前帧的数据中确定一个或多个数据块；

使用基于前一帧的数据计算的互相关系数矩阵，对所述一个或多个数据块进行互相关滤波，以计算互相关滤波的响应矩阵；以及

根据所述响应矩阵确定当前帧中跟踪目标的位置。

3.根据权利要求1或2所述的方法，其中，所述核互相关器的核函数为高斯核函数，所述核互相关器的训练初始化使用的响应矩阵为中心位置的元素为1、其他元素为0的矩阵。

4.根据权利要求1所述的方法，其中，使用LSTM对视频中的运动信息进行计算包括：基于每一帧的数据X_t以及每一帧中跟踪目标的位置M_t来计算LSTM的门函数和候选存储单元，从而使用LSTM来对视频中的运动信息进行计算。

5.根据权利要求4所述的方法，其中，根据如下公式分别计算LSTM的输入门函数I_t、遗忘门函数F_t、输出门函数O_t和候选存储单元

I_t＝σ(W_xi*X_t+W_hi*H_t-1+W_mi*M_t+b_i)

F_t＝σ(W_xf*X_t+W_hf*H_t-1+W_mf*M_t+b_f)

O_t＝σ(W_xo*X_t+W_ho*H_t-1+W_mo*M_t+b_o)

其中，下标t表示该参数关于当前帧，下标t-1表示该参数关于前一帧，下标i表示该参数关于输入门函数，下标f表示该参数关于遗忘门函数，下标o表示该参数关于输出门函数，下标c表示该参数关于候选存储单元，σ为激活函数，＊为卷积运算，H为隐藏状态，W_x、W_h、W_m为二维卷积核，b为训练参数。

6.根据权利要求1所述的方法，还包括：在使用核互相关器来计算每一帧中跟踪目标的位置之前，使用卷积层提取视频的每一帧的特征图，其中，所述数据为特征图。

7.根据权利要求1所述的方法，还包括：

使用softmax分类器对计算的运动特征进行动作分类。

8.一种基于视频进行动作识别的系统，包括：

空间特征提取模块，被配置为使用卷积层对所述视频包括的各个帧进行处理，以得到每一帧的特征图；

运动流估计模块，被配置为基于连续帧的特征图，使用核互相关器来计算每一帧中跟踪目标的位置；

运动特征估计模块，被配置为基于每一帧的特征图以及每一帧中跟踪目标的位置，使用长短期记忆模型LSTM对视频中的运动特征进行计算；以及

动作分类模块，被配置为使用softmax分类器对计算的运动特征进行动作分类。

9.一种基于视频进行动作识别的系统，包括：

存储器，其上存储有指令；以及

处理器，被配置为执行存储在所述存储器上的指令，以执行以根据权利要求1至7中的任一项所述的方法。

10.一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1至7中的任意一项所述的方法。