[发明专利]基于表面肌电信号的手势识别优化方法、系统及终端

说明书

本发明的基于表面肌电信号的手势识别优化方法、系统及终端，从表面肌电数据和其构建的图像数据两个模态的角度对手势进行了更精确的分类和识别，并且仅需要表面肌电信号采集设备，采集方式更为简单便携且成本更低，还使用了一种具有竞争力的特殊注意力机制来学习手势区域的特征权重，使不同手势之间的区分度更高。

技术领域

本发明涉及手势识别领域，特别是涉及一种基于表面肌电信号的手势识别优化方法、系统及终端。

背景技术

传统的手势识别研究根据手势捕获所采用的传感技术可分为两大类:基于数据手套的技术和基于计算机视觉的技术。在第一种情况下，配备弯曲传感器和加速度计的数据手套用来捕捉手部和手指的旋转和运动。Fang等人报告了一个系统，使用两个数据手套和三个位置跟踪器作为输入设备，以模糊决策树作为分类器来识别中文手语(CSL)手势。CSL中513个符号词汇的平均分类率为91.6％。然而，基于手套的手势识别需要用户佩戴笨重的数据手套来捕捉手部和手指的运动。这阻碍了人机交互的便捷性和自然性。在后一种情况下，基于计算机视觉的方法可以有效地跟踪和识别手势，而不会干扰用户。Starner et al.开发了一个令人印象深刻的实时系统，通过使用HMM生成40个单词来识别句子级别的美国手语。通过安装在桌面的摄像头，有较强语法的单词准确率达到91.9％，无语法的单词准确率达到74.5％。Shanableh等人采用了一种时空特征提取方案，对阿拉伯手语手势进行了徒手视觉识别。在23个arsl手势单词的识别中，准确率可以达到97％～100％。然而，这项技术的性能对使用环境很敏感，如背景纹理、颜色和照明。为了增强基于视觉的方法的鲁棒性，以往的一些研究利用彩色手套或多摄像头进行精确的手势跟踪、分割和识别。其使用条件限制了其广泛应用，特别是在移动环境中。

许多研究表明，联合传感方法可以显著提高手势识别性能。Sherrill et al.比较了基于ACC和基于sEMG的技术在康复功能性运动活动检测中的表现，证明了基于sEMG和ACC信号结合的系统可以成功构建。Kim等人研究了两个传感器在德语手语识别7个孤立单词时的互补功能。Kosmidou和Hadjileontiadis成功地将本征模熵应用于从优势手获得的ACC和sEMG数据，识别出孤立的60个希腊手语符号。除了信息互补的特点外，ACC和sEMG传感器还有一些共同的优势，如制造成本低和手势捕捉的高便携性。当用于人机交互实现时，它们可以很容易地穿戴在前臂上。然而，ACC和sEMG融合技术用于手势识别仍处于起步阶段，有很大的探索潜力。

现有的计算方法多依靠单模态信号，且绝大多数的使用多模态信号进行手势识别的方法所使用的传感器用多需要多类型设备，一定程度提高了成本，且限制了其在许多领域的应用，例如其一模态需要图像传感器时难以便携。同时，现有的算法没有设计良好的多种模态之间特征补充机制能够快速的进行高精度的判断。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于表面肌电信号的手势识别优化方法、系统及终端，用于解决现有技术中以上技术问题。

为实现上述目的及其他相关目的，本发明提供一种基于表面肌电信号的手势识别优化方法，所述方法包括：获取由表面肌电信号采集设备采集的表面肌电信号；对所述表面肌电信号进行预处理，以获得表面肌电预处理信号；对所述表面肌电预处理信号构建图像模态，以获得图像模态数据；分别对所述表面肌电预处理信号以及图像模态数据提取特征，以获得多个信号区间分别所对应的信号模态特征以及图像模态特征；将各信号区间分别所对应的信号模态特征以及图像模态特征进行拼接，获得对应各信号区间的模态特征；基于各信号区间的模态特征，确定各信号区间的特征权重；基于各信号区间的特征权重，根据各信号区间的模态特征获得对应表面肌电信号所对应的识别结果。

于本发明的一实施例中，所述对所述表面肌电预处理信号构建图像模态，以获得图像模态数据包括：基于采用设定滑动窗口，由所述表面肌电预处理信号转化为对应多个信号区间的图像模态图。