[发明专利]一种基于肌电信号和Leap Motion的实时手势识别系统

说明书

本发明公开一种基于肌电信号和Leap Motion的实时手势识别系统，包括刺激模块、数据采集模块、肌电信号分类模块、Leap Motion分类模块、分类结果融合模块和结果输出模块；刺激模块发出提示音对使用者进行手势引导；采集模块采集使用者做手势过程中的有效肌电信号以及图像信号；肌电信号分类模块对有效肌电信号进行降噪处理和特征提取得到特征向量，并进行多分类；Leap Motion分类模块利用图像信号进行手势分类识别；分类结果融合模块将肌电信号分类模块与Leap Motion分类模块的分类结果采用粒子群方法进行决策级融合；结果输出模块对最终实时分类结果进行输出显示，本发明能够实现实时识别手势。

技术领域

本发明属于人机交互的技术领域，具体涉及一种基于肌电信号和Leap Motion的实时手势识别系统。

背景技术

肢体语言是人类进行沟通、传递信息的重要方式之一，其中上肢尤其是手部的肢体动作有非常广泛的应用。

肌电信号是伴随肌肉活动产生的一种电生理信号，其中包含了肌肉活动的信息，可用于肢体动作的分类。图像信号处理作为一种经典技术，在手部图像处理、建模等方面已经比较成熟，可用于手部动作的识别分类，其中Leap Motion作为一款可供二次开发的手部图像识别产品得到了广泛应用。目前现有的手势识别系统大多仅使用肌电信号或图像信号中的一种，单独使用肌电信号分类准确率较低，单独使用图像信号准确率则受到拍摄角度等因素的影响。因此，单模态手势识别系统准确率和泛用性仍有待提高，而多模态融合的手势识别系统有待进一步探索。

发明内容

有鉴于此，本发明提供了一种基于肌电信号和Leap Motion的实时手势识别系统，能够更准确地实时识别手势。

实现本发明的技术方案如下：

一种基于肌电信号和Leap Motion的实时手势识别系统，包括刺激模块、数据采集模块、肌电信号分类模块、Leap Motion分类模块、分类结果融合模块和结果输出模块；

刺激模块通过发出提示音对使用者进行引导，指示使用者在提示音响起后的规定时间内做出手势，在训练阶段，手势引导指定手势，在实时识别阶段，手势引导未指定手势；

数据采集模块采集使用者做手势过程中的肌电信号以及手部图像信号；

肌电信号分类模块对训练阶段采集到的肌电信号进行降噪处理和特征提取得到特征向量，对分类器进行训练，并利用训练得到的分类器对实时识别阶段采集的肌电信号特征向量进行实时多种分类，输出多分类结果；

Leap Motion分类模块根据手部图像信号进行手指识别，输出多分类结果；

分类结果融合模块将肌电信号分类模块的分类结果与Leap Motion分类模块的分类结果采用粒子群方法进行决策级融合，得到最终的实时分类结果；

结果输出模块对最终的实时分类结果进行输出显示。

进一步地，肌电信号分类模块及Leap Motion分类模块输出的多分类结果为不同手势的概率值。

进一步地，分类结果融合模块采用粒子群算法设定线性加权的融合系数，通过粒子群算法搜索出肌电分类结果和Leap Motion分类结果的最优融合系数，通过对肌电信号分类模块及Leap Motion分类模块输出的概率值进行加权融合，取概率值最大的手势作为最终分类结果。

进一步地，数据采集模块通过蓝牙及串口传输所采集的肌电信号数据，通过串口传输所采集的手部图像信号数据。

进一步地，数据采集模块在播放提示音后进行数据接收。

进一步地，数据采集模块进行数据接收时，采用串行方式，对手部图像信号和肌电信号片段进行交替读取。