[发明专利]一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统

权利要求书

1.一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，包括

采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；

将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS-CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。

2.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，多流MS-CNN网络进行特征提取，具体是

首先利用多流CNN网络，以此对表面肌电信号的多个sEMG图像进行并行建模；每个单流CNN模型共有七层，前两层为卷积层，其中每层由64个3×3的卷积滤波器组成，并在第二层后面加入了通道注意力层CAM；

然后采用两个局部连接层，每层由64个1×1局部连接层来提取sEMG图像的局部特征；

最后三层分别由512、512和128个单元组成的全连接层，其中前两层为具有dropout的全连接层，以此来减少过拟合；每层后都加入了批量归一化(BN)和修正线性单元ReLU，以此来减少内部协变量偏移，从而加速网络收敛，防止梯度消失。

3.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，多流模块MS-CNN选择自适应矩估计Adam作为网络优化器；CNN用作特征提取器，将滑动窗口处理sEMG肌电图转换为特征向量。

4.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，使用长短期记忆模块LSTM进行时序信息提取

在多流CNN网络的第七层后添加了两个堆叠的LSTM层，每个LSTM有128个单元，同时设置dropout的值为0.5，通过dropout方法来抑制过拟合；

LSTM属于门控RNN的范畴，它使用门(Sigmoid激活函数，然后逐点相乘)来创建通过时间的路径，其导数既不会消失也不会爆炸；每个LSTM单元包含四种结构，分别为输入门、输出门、遗忘门和单元状态。

5.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，长短期记忆模块LSTM结构基于以下公式：

f_t＝σ(W_f.[h_t-1,g_t]+b_f) (1)

i_t＝σ(W_i.[h_t-1,g_t]+b_i) (2)

o_t＝σ(W_o[h_t-1,g_t]+b_o) (3)

h_t＝o_t·tanh(C_t) (6)

其中σ是Sigmoid激活函数，i_t、f_t、o_t、C_t分别是输入门、遗忘门、输出门和单元状态，W_i、W_f、W_c、W_o是不同状态下的门对应的权重向量，b_i、b_f、b_c、b_o是不同状态下的门对应的偏置向量，g_t是当前节点的输入，h_t和C_t是LSTM网络的输出。