[发明专利]一种基于机器视觉的便携式手语翻译设备及方法

说明书

本发明属于机器视觉及手语翻译技术领域，公开了一种基于机器视觉的便携式手语翻译设备及方法，包括设备本体，设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块、麦克风模块和显示模块；数据处理模块为树莓派4B，摄像头模块为CSI摄像头，扬声器模块为有线耳机，麦克风模块为搭载有LD3320芯片的语音识别模块；树莓派4B集成了CSI排线接口和有线耳机连接口；摄像头模块、扬声器模块、麦克风模块和显示模块通过电导线与数据处理模块连接；数据处理模块、摄像头模块、扬声器模块、麦克风模块和显示模块通过电导线与电源模块连接；本发明解决了现有技术手语翻译设备不便于携带、互动性差和成本高的问题，适用于正常人与聋哑人之间的交流。

技术领域

本发明涉及机器视觉及手语翻译技术领域，具体为一种基于机器视觉的便携式手语翻译设备及方法。

背景技术

手语是聋哑人之间交流的主要方式,但是正常人与聋哑人交流时经常会遇到障碍，致使其无法理解聋哑人所要表达的意思，无法为其提供服务和帮助。

随着手语助残等产品逐渐走向市场，其中人工类的APP市场份额最大，多用于银行、机场等场所。考虑到其使用环境受限、人工费、翻译者水平参差不齐等问题，人工智能类的手语产品行业逐渐兴起，但现有的手语翻译设备或不便于携带，且价格高昂；例如，现有的基于数据手套的手语识别系统，其利用数据手套和位置跟踪器测量手势在空间运动轨迹和时序信息，主要基于隐马尔科夫模型等手势识别技术，从而获取使用者手部运动数据，但其具有的局限性包括：参数较多、环境可靠性差、精度低、价格昂贵等。

利用机器视觉及相关的训练算法，将聋哑人作出的手语动作进行处理、识别匹配并进而输出，不仅能够解决手语识别、打破聋哑人交流障碍。同时由于手部属于人的基本特征，对手势的识别处理在人机交互等领域也占据着非常重要的地位。通过对人手特征的精确捕捉、跟踪与特征提取，不仅可以解决手语与口语、手语与手语之间交流困难的问题。因此，亟需一种基于机器视觉的便于携带、互动性高、成本低的便携式手语翻译设备。

发明内容

本发明意在提供一种基于机器视觉的便携式手语翻译设备及方法，以解决现有技术手语翻译设备不便于携带、互动性差和成本较高的问题。

为了实现上述目的，本发明提供如下技术方案：

一种基于机器视觉的便携式手语翻译设备，包括设备本体，所述设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块和麦克风模块；

所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述数据处理模块连接；

所述数据处理模块、所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述电源模块连接；

所述数据处理模块用于处理采集的手语动作和输入的口语语音，并将其转化为输出的口语语音和文本信息；

所述摄像头模块用于采集手语动作；

所述扬声器模块用于播放口语语音；

所述麦克风模块用于接收口语语音。

进一步地，所述数据处理模块为树莓派4B，所述摄像头模块为CSI摄像头，所述扬声器模块为带有语音输入的有线或无线耳机，所述麦克风模块为搭载有LD3320芯片的语音识别模块；所述树莓派4B集成了CSI排线接口和有线耳机连接口，且用Python语言实现核心机器视觉算法。

进一步地，所述设备本体还连接有显示模块，所述显示模块通过电导线与所述数据处理模块和所述电源模块连接，所述数据处理模块还将输入的口语语音转化为显示的文本信息，所述显示模块用于显示文本信息。

上述的一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：