[发明专利]一种融合sEMG和AUS的手势识别方法

说明书

一种融合sEMG和AUS的手势识别方法，包括：S1：sEMG和AUS的数据同步采集；令受试者进行sEMG和AUS的同步采集；采集过程将包含m种实际手势动作；S2：sEMG和AUS的数据维度匹配；S3：sEMG和AUS的特征提取；S4：sEMG和AUS的特征融合；S5：sEMG和AUS的模型构建。本发明的多模态融合信号在手腕动作、手指动作及放松态下都能获得较高的手势识别效果，在一定程度上推进了生物信号在实际生活中的手势识别应用能力。

技术领域

本发明涉及人体生物工程技术领域，涉及一种手势识别方法。

背景技术

目前用于手势识别的人体生物信号中，表面肌电信号(sEMG)和A型超声信号(AUS)等为主流信号。其中，sEMG主要检测浅层的肌肉电信号，对于粗大的手腕动作具有较强的识别能力，但对于精细的手指动作的识别能力并不理想。而AUS主要检测深层的肌肉形态信息，对于精细的手指动作具有较强的识别能力，但对于粗大的手腕动作的识别能力并不理想。因此需要提出一种融合sEMG和AUS的手势识别方法，充分发挥两者的优势，以提高日常生活中的多种实际手势动作的识别能力，进而促进智能辅助设备的研发。

发明内容

本发明要克服单模态生物信号在识别多种实际手势动作的过程中所出现的低识别率问题，提供一种多模态信号融合的方法，即一种融合sEMG和AUS的手势识别方法。该方法能够发挥多模态信号的各自优势以弥补其各自的固有局限性，可实现更好的手势识别效果。

本发明解决其技术问题所采用的技术方案是：

一种融合sEMG和AUS的手势识别方法，包括如下步骤：

S1：sEMG和AUS的数据同步采集。令受试者进行sEMG和AUS的同步采集，以便于后续的信号维度匹配，极大地减少了不必要的外界干扰。采集过程将包含m种实际手势动作。

数据同步采集时，首先受试者右臂需要佩戴校准后的采集设备，该设备包含n_c个采集通道。其次受试者需舒适地静坐，将其右臂的肘关节放置于桌面，准备数据同步采集。接着受试者按提示依次进行手势动作，每个手势动作持续n_t秒，每轮采集结束后受试者休息5n_t秒。然后受试者共进行8轮采集。最后记录每个手势动作的sEMG、AUS以及动作标签。

因为不同受试者对于所给提示的反应效果不一致，所以将每一个手势动作的持续时间进行划分，分为：提前时间1秒、稳态时间n_t-2秒和滞后时间1秒，后续手势识别过程中将主要采用稳态时间内所采集的数据。

S2：sEMG和AUS的数据维度匹配。因为sEMG和AUS分别属于连续信号和离散信号，所以两者的采集方式并不一致，采集频率并不一致。因此需要对sEMG进行数据分窗操作，以匹配两者维度，便于后续的信号融合。

sEMG的分窗数量为窗口交叠长度为窗口长度为如式(1)计算。

式中，t_stable为稳态时间；Fps为AUS的帧率；a为窗口交叠长度系数，b为窗口长度系数。

经过数据分窗操作后，每个手势动作内，sEMG的分窗数量与AUS的帧数相同，同为t_stableFps(即，)，将实现两者在维度上的匹配。

S3：sEMG和AUS的特征提取。对于所采集的sEMG和AUS信号进行各自相关特征的提取。本发明中，sEMG进行的是TD-AR6特征组合提取，即对每一个窗口中的sEMG数据选取4个时域特征：平均绝对值、波形长度、过零点数与斜率变化率以及6个模型参数：自回归模型的6阶AR系数。

sEMG的4个时域特征，如下式计算：