[发明专利]一种基于3D‑CNN和卷积LSTM的手势识别方法

权利要求书

1.一种基于3D-CNN和卷积LSTM的手势识别方法，其特征在于，包括如下步骤：

S1、采集两个模态的不同手势的运动视频，并对视频的图像帧采用时间抖动策略进行预处理，归一化为相同的视频长度和图像帧大小；

S2、将预处理后两个模态的手势视频作为输入，分别馈送入两个三维卷积神经网络3D-CNN中，提取视频的短期时空特征；

S3、将提取短期时空特征后的视频图像帧输入至两级卷积LSTM网络中，用来提取手势视频的长期时空特征；

S4、对卷积LSTM的输出进行空间金字塔池化，生成多尺度的特征表示，并对多尺度特征进行级联，生成特征向量，送入全连接层；

S5、将两个全连接层的输出采用后期多模态融合的方法，平均融合不同网络的预测结果，得到最终预测分数。

2.如权利要求1所述的基于3D-CNN和卷积LSTM的手势识别方法，其特征在于，所述步骤S1中预处理，具体为：

采用时间抖动策略均匀采样，给定一个具有S帧的手势视频序列，采样过程可以描述为：

其中，Idx_i代表第i个采样帧，jit是从-1到1之间进行随机均匀分布采样的值，L表示输入网络的视频帧长度。

采样的结果表示为：

US＝{Idx₁，Idx₂，Idx₂，…，Idx_L}。

3.如权利要求2所述的基于3D-CNN和卷积LSTM的手势识别方法，其特征在于，所述步骤S2中3D-CNN网络是基于C3D模型设计的，每个3D卷积层的卷积核为3*3*3，步幅和填充大小均为1*1*1；四个3D卷积层的卷积滤波器数量分别为64，128，256，256；除了倒数第二层3D卷积层以外，所有的3D卷积层后都跟着批处理归一化层和ReLU层；第一个池化层的内核大小为1*2*2，步幅为1*2*2，该池化层只执行空间池化；第二个池化层的内核大小为2*2*2，步幅为2*2*2，该池化层同时执行时空池化。

4.如权利要求3所述的基于3D-CNN和卷积LSTM的手势识别方法，其特征在于，所述步骤S3，具体为：

S31、令”*”表示卷积运算符，表示哈达玛(Hadamard)乘积，则卷积LSTM表示为：

i_t＝σ(W_xi*X_t+W_hi*H_t-1+b_i)

f_t＝σ(W_xf*X_t+W_hf*H_t-1+b_f)

o_t＝σ(W_xo*X_t+W_ho*H_t-1+b_o)

其中，X₁，…，X_t为输入，C₁，…，C_t为细胞状态，H₁，…，H_t为隐藏状态，i_t，f_t，o_t，C_t分别表示卷积LSTM的et时刻的输入门、记忆门、输出门和核心们对应的状态量，这些量均为3D张量，且最后两个维度为空间维度，σ是Sigmoid函数，W_xi、W_xf、W_xo、W_xc分别代表输入门、记忆门输出门和核心门对应的权重转移矩阵，W_hi，W_hf，W_ho，W_hc分别代表输入门、记忆门输出门和核心门在t-1时刻隐藏层变量h_t-1对应的权重转移矩阵，b_i，b_f，b_o，b_c分别代表输入门、记忆门输出门和核心门对应的偏置向量；

S32、两级卷积LSTM中，高级的卷积LSTM的输出即是每个手势最终的长期时空特征；两级卷积LSTM层的卷积核大小均为3*3，步幅为1*1，卷积滤波器数量分别为256和384，在卷积过程中执行“相同填充”，使得卷积LSTM不同阶段的时空特征均具有相同的空间大小；卷积LSTM的输出与3D-CNN的输出具有相同的空间大小；将3D-CNN网络的输入作为输入，馈送入两级卷积LSTM网络中，第一级卷积LSTM网络共有256个卷积滤波器，为步骤S2中提取到的特征图进行编码，第二级卷积LSTM网络共有384个卷积滤波器，对特征图进行解码操作，最终输出为384张包含短期时空特征和长期时空特征的特征图。