[发明专利]一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统

说明书

本发明提出了一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统。以多流卷积神经网络(MS‑CNN)为基准模型，在此加入通道注意力层(CAM)，使每个单流CNN模型在提取特征时能够学习到更为细化的特征，并滤除无用的特征信息，提升了网络的泛化能力。同时，将加入时序注意力层(TSA)的长短期记忆网络(LSTM)应用至手势识别方法中，以解决CNN模型忽略时序信息的问题，并减少无关特征。

技术领域

本发明属于信号处理、模式识别技术领域，特别是涉及一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统。

背景技术

随着科学技术的发展，人机交互中的肌电信号手势识别被广泛应用。为了有效地提取各种手势信息，业界提出了诸多方法，其中通过肌电图可更好的捕获手势信息，因为它通过捕捉肌肉活动的生物电信号可以反映人体某一特定动作。而肌电信号的采集方式分为表面电极(电极贴片)和针式电极两种。前者只需在待测区域的皮肤表面放置电极贴片以此来测量肌肉动作电位，所以采集的信号称为表面肌电信号。相较于后者穿透皮肤的侵入式采集，该方式不会对人体造成伤害。

早期基于表面肌电信号的手势识别研究主要使用传统的机器学习模型^[7]，步骤包括信号检测、信号预处理、特征提取和模式分类四个阶段。其核心是特征提取和模式分类，目的是通过特征识别来区分表面肌电信号继而传输到分类器进行识别。近年来，相关人员研究了一些时域、频域和时频域相结合的特征提取方法。但传统的机器学习模型的特征提取的设计及选择过程较为复杂，且特征组合的方法也样式繁多，因此导致人工提取的工作量增加。同时，由于表面肌电信号的随机性和肌肉之间严重的串扰，在人工提取特征的过程中也会很容易掩盖有效的信息。

随着深度学习技术的兴起，为人类运动意图的识别提供了一个崭新的方向。深度学习算法是一种特殊的机器学习算法，具有较强的学习能力和特征提取能力。而特征提取是深度学习模型里的一部分，它能够节省大量的人工特征提取时间。虽然CNN擅长提取表面肌电信号的空间信息，但它忽略了肌肉连续收缩过程中的时间信息，导致识别精度难以进一步提升。

发明内容

本发明提出的融合双层注意力与多流卷积的肌电手势识别记忆网络方法，仅通过较少的计算量，便可有效的解决表面肌电信号使用卷积神经网络提取特征的过程中易丢失有效信息和忽略时序信息的问题。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，包括

采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；

将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS-CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，多流MS-CNN网络进行特征提取，具体是

首先利用多流CNN网络，以此对表面肌电信号的多个sEMG图像进行并行建模；每个单流CNN模型共有七层，前两层为卷积层，其中每层由64个3×3的卷积滤波器组成，并在第二层后面加入了通道注意力层CAM；

然后采用两个局部连接层，每层由64个1×1局部连接层来提取sEMG图像的局部特征；

最后三层分别由512、512和128个单元组成的全连接层，其中前两层为具有dropout的全连接层，以此来减少过拟合；每层后都加入了批量归一化(BN)和修正线性单元ReLU，以此来减少内部协变量偏移，从而加速网络收敛，防止梯度消失。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，多流模块MS-CNN选择自适应矩估计Adam作为网络优化器；CNN用作特征提取器，将滑动窗口处理sEMG肌电图转换为特征向量。