[发明专利]一种语句级手语识别方法、系统、设备及终端

说明书

本发明属于动作识别技术领域，公开了一种语句级手语识别方法、系统、设备及终端，所述语句级手语识别方法包括：原始手语数据信号的采集；手语数据预处理；分割有效手语活动部分数据；有效特征提取；利用随机森林分类器进行数据训练，实现手语识别。本发明的手语识别方法采取去了有效的特征提取方法，即在原有的十个特征基础之上新增了新的特征，能够反映数据波动的温和程度，所以本发明能够有效的提取语句级的手语信号特征。本发明采用了随机森林分类器，其中使用了50个决策树，使用经过多次实验确定的此分类器也对手语识别的准确率有好的提升效果。本发明的手语识别方法的鲁棒性非常好，因此能够很好的适用与应用场景，具有一定的普适性。

技术领域

本发明属于动作识别技术领域，尤其涉及一种语句级手语识别方法、系统、设备及终端。

背景技术

目前，尽管口语是当今世界的主流，不可否认，手语对本发明仍然很重要。尤其是在人工智能时代，它的应用范围很广，如智能家居、陈列室、等等。手语不仅方便聋哑人士更快地融入智能生活，也方便了本发明与聋哑人士交流。例如，在历史博物馆，当聋哑人士需要帮助时，工作人员由于不了解手语不能和他们交流。如果博物馆有一个机器人(或其他交互设备)，它能够识别聋哑人士的手语并做出反应，它们就可以为其提供帮助和服务。

近年来，关于手语识别的研究主要基于三个类别：基于计算机视觉，基于可穿戴传感器，基于无线信号。大多数研究只关注孤立的单词识别，然而很难在日常生活交流中使用，其中很少可以翻译语句级手语。

现有的基于计算机视觉的手语识别系统，使用红外光作为感知机制在语句层面翻译手语。尽管它们的精确度很高，但隐私是一个大问题，尤其是在私人领域环境。基于可穿戴传感器的系统具有侵入性，而且需要用户穿戴昂贵的设备，一定程度上限制了用户的自由。虽然基于无线信号(例如WIFI)的无线网络不侵犯人类隐私，也不需要佩戴任何设备，但无线网络的部署不方便，容易受到干扰，因此不是一个好的选择。而基于RFID技术的手语识别系统技术成本低，其标签也易于部署。RFID(Radio Frequency Identification)技术，指的是无限射频识别技术。

现有技术很难划分连续的手语并将其翻译成单词。此外，还有单词和从语句中分离出的单词级单词之间差异，例如，“你”这个词和在两句话中的“你”一词(“你”是主语和对象)完全不同。实现手语的自动分割也是一个难题，以前关于手语的相关研究通常手动提取手语，显然，这是一个巨大的工作量。

综上，现有的手语识别系统普遍存在以下不足：1)不能实现语句级的手语识别；2)设备不廉价。因此，亟需一种新的语句级手语识别方法及系统，以弥补现有技术存在的缺陷。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的关于手语识别的研究大多数研究只关注孤立的单词识别，然而很难在日常生活交流中使用，其中很少可以翻译语句级手语。

(2)现有的基于计算机视觉的手语识别系统在私人领域环境中隐私保护力度不够；同时基于可穿戴传感器的系统具有侵入性，而且需要用户穿戴昂贵的设备，一定程度上限制了用户的自由。

(3)现有基于无线信号的无线网络部署不方便，容易受到干扰，不是好的选择；现有技术很难划分连续的手语并将其翻译成单词，实现手语的自动分割也是一个难题，工作量巨大，且设备不廉价。

解决以上问题及缺陷的难度为：

(1)由于信号的连续性及噪音的干扰，提取有效的手语信号成为了一个显著的挑战，这需要设计合理有效的去噪方法和信号处理方法来实现有效手语数据信号的分割.

(2)同时，采用射频识别技术能够有效的做到隐私保护，而且使用户摆脱了穿戴设备，但是确定有效的手语信号接受范围是一个问题，这需要大量的基于不同范围的实验以及在不同场景下的实验以确定合理的手语信号接受范围；