[发明专利]基于关键帧采样的小样本深度学习多模态手语识别方法

权利要求书

1.基于关键帧采样的小样本深度学习多模态手语识别方法，其特征在于，包括如下步骤，

步骤S1、采集手语人员的人体骨骼信息，RGB数据以及相应的深度数据，利用光流算法将RGB彩色视频转换为光流视频，并选定RGB彩色视频、Depth深度视频和光流视频作为多模态输入；

步骤S2、对RGB彩色视频的每一帧图像进行肤色检测保留手部以及脸部，再基于三维骨骼坐标和深度信息剔除脸部像素的影响，获取手部分割的掩膜，并在Depth深度视频上利用该掩膜分割出对应帧的手部；

步骤S3、对每个模态的视频进行关键帧采样以及均匀采样来归一化视频帧数，作为后续深度神经网络的输入；

步骤S4、对已有小样本数据进行数据增强；

步骤S5、用均匀采样的视频来从头开始训练网络模型；

步骤S6、将通过关键帧采样获取的同种模态的数据进行融合，再利用均匀采样的网络模型对融合的数据微调训练；

步骤S7、将三个模态数据源训练的结果进行特征融合和分数融合，选出最优方案；

步骤S5中，网络模型采用R(2+1)D结构，R(2+1)D结构是基于常用的R3D，改进为R(2+1)D将Ni个3D卷积核，核大小为N_i-1×t×d×d,t表示滤波器的时序维度并且d表示滤波器的空间维度，分成Mi个2D空间卷积核，核大小为N_i-1×1×d×d，和Ni个时序卷积核，核大小为M_i×t×1×1，其中，Ni为i-th残差块的滤波器的数量，Mi为转化后的2D空间卷积核的数量；

所述步骤S7中，选出最优方案具体为，

将三个模态数据训练的模型进行多模态融合，通过比较测试不同的多模态融合方法，选择效果最好的作为最后的融合策略，融合方式包括：

Maximum score fusion，即最大值分数融合：针对各个模态的softmax层输出进行最大值融合，得到最后的分数向量；

Average score fusion，即平均值分数融合：针对各个模态的softmax层输出进行平均值融合，得到最后的分数向量；

Concatenation+线性支持向量机，即特征向量拼接：提取各个模态的softmax层前一层全连接层的输出，得到属于各个模态的1024维度的特征向量，按顺序将它们拼接成一个3072维度的特征向量，并将其输入一个C＝1的线形支持向量机，得到最后的识别精度结果。

2.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法，其特征在于，所述步骤S1中,采集数据时，手语人员与采集摄像头之间保持相对静止，只露出脸部和手部皮肤，只进行手语运动；完整的手语运动包括手部的抬起，手语词运动的关键部分及手部的放下。

3.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法，其特征在于，所述步骤S1中,光流算法采用Brox光流算法。

4.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法，其特征在于，所述步骤S2中，肤色检测采用多个颜色空间RGB、YCrCb、HSV的常阈值掩膜加权平均，然后用Otsu最大类间方差法阈值分割获取肤色掩膜；再通过头部骨骼坐标定位到头部周围区域，利用周围的深度信息进行阈值分割，获取一个粗略的剔除头部相关像素的掩膜。