[发明专利]基于肌电信号和手指关节形变信号的手语识别系统及方法

说明书

本发明公开了一种基于肌电信号和手指关节形变信号的手语识别系统及方法。该系统包括：肌电传感器、手指关节形变传感器和信号处理模块，所述肌电传感器和所述手指关节形变传感器分别通过导线与所述信号处理模块连接，所述肌电传感器设置为检测人体前臂区域的肌电信号，所述手指关节形变传感器设置为根据手指关节分布特征检测手指多个位置的形变信号，所述信号处理模块设置为融合所接收的肌电信号和手指多个位置的形变信号来识别被试者的手势信息。本发明融合肌电信号和手指关节形变信号能够提高手势识别的精确度和效率。

技术领域

本发明涉及手势识别控制技术领域，更具体地，涉及一种基于肌电信号和手指关节形变信号的手语识别系统及方法。

背景技术

根据世界聋人联合会和世界卫生组织的统计数据，世界上大约有7000万人是聋哑人。聋哑人之间依靠手语交流，而由于正常人很少学习手语，导致聋哑人与正常人的交流存在巨大困难，从而严重影响了聋哑人的正常社会生活。手语通过手型、朝向、面部表情以及手臂的运动等来传达语意信息，手语识别将手语转换为文本或者语音，方便聋哑人与正常人交流。它已成为人机接口领域的一项最重要研究内容，吸引了越来越多的专家和学者的关注。我国目前有2000多万聋人，对手语识别的研究，将直接造福于这个群体，为其提供一种更加自然、更加方便快捷地与正常人交流的途径，以便他们更好地融入社会。

现有的手语识别方法可分为：基于数据手套的方法、基于肌电的方法和基于计算机视觉的方法。基于数据手套的方法需要佩戴数据手套，数据手套可检测手部的动作信息，包括手指的关节形变、手指间的角度等。这种方法直接检测手部形变信息，能够较好的识别手语动作，但通过数据手套采集到的信号，不同手势动作信号之间没有明显的区分，无法有效分割手语词，通常情况下需要利用外部采集到的图像信息进行手工分割，训练过程通常费时费力。

基于肌电的手语识别方法采集前臂上的肌电信号，由于前臂肌电信号包含手部动作信息，通过对肌电信号的处理，可以达到对手语动作进行识别的效果。基于肌电的手语识别方法是一种常用的识别方法，肌电信号包含的信息较丰富，包括手指关节形变信息、手掌和手臂的相对位置信息、手腕及手臂的旋转等信息，能用于识别一些精细的手部动作。但是，由于肌电信号是对手势动作的一种间接反映且本身比较微弱，对某些相似度较高的手语动作肌电的识别效果不佳。

基于计算机视觉的方法存在如下缺陷：需要外部放置摄像头，不具有便携性；通过图像信息判断手势动作，容易受到光照、背景、颜色等的影响；摄像头的视野范围有限，在手势动作执行过程中存在的手势重叠和遮挡会造成重要手势信息的丢失；一个手势动作的识别要处理多帧图像，运算成本较高。

发明内容

本发明的目的是克服上述现有技术的缺陷，提出一种基于肌电信号和手指关节形变信号的手语识别系统和方法，通过将前臂肌电信号和手指关节形变信号融合，克服了肌电信号单一识别效果差以及数据手套训练费时费力的缺点。

根据本发明的第一方面，提供一种基于肌电信号和手指关节形变信号的手语识别系统。该系统包括：肌电传感器、手指关节形变传感器和信号处理模块，所述肌电传感器和所述手指关节形变传感器分别通过导线与所述信号处理模块连接，所述肌电传感器设置为检测人体前臂区域的肌电信号，所述手指关节形变传感器设置为根据手指关节分布特征检测手指多个位置的形变信号，所述信号处理模块设置为融合所接收的肌电信号和手指多个位置的形变信号来识别被试者的手势信息。

在一个实施例中，将所述手指关节形变传感器分别设置在手指每个关节，用于采集反映手指各关节的弯曲程度和力量强弱的形变信号。

在一个实施例中，所述手指关节形变传感器被设置为直接贴附在手指上或固定在手套上。

在一个实施例中，所述手指关节形变传感器是柔性电极。

在一个实施例中，所述柔性电极设计为大于对应的手指关节大小。

在一个实施例中，所述肌电传感器设计为适于与前臂贴合的织物结构电极。