[发明专利]一种基于机器视觉的便携式手语翻译设备及方法

权利要求书

1.一种基于机器视觉的便携式手语翻译设备，其特征在于：包括设备本体，所述设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块和麦克风模块；

所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述数据处理模块连接；

所述数据处理模块、所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述电源模块连接；

所述数据处理模块用于处理采集的手语动作和输入的口语语音，并将其转化为输出的口语语音和文本信息；

所述摄像头模块用于采集手语动作；

所述扬声器模块用于播放口语语音；

所述麦克风模块用于接收口语语音。

2.根据权利要求1所述的一种基于机器视觉的便携式手语翻译设备，其特征在于：所述数据处理模块为树莓派4B，所述摄像头模块为CSI摄像头，所述扬声器模块为带有语音输入的有线或无线耳机，所述麦克风模块为搭载有LD3320芯片的语音识别模块；所述树莓派4B集成了CSI排线接口和有线耳机连接口，且用Python语言实现核心机器视觉算法。

3.根据权利要求2所述的一种基于机器视觉的便携式手语翻译设备，其特征在于：所述设备本体还连接有显示模块，所述显示模块通过电导线与所述数据处理模块和所述电源模块连接，所述数据处理模块还将输入的口语语音转化为显示的文本信息，所述显示模块用于显示文本信息。

4.根据权利要求3所述的一种基于机器视觉的便携式手语翻译设备的翻译方法，其特征在于，包括以下步骤：

S1、根据机器视觉原理，在所述数据处理模块内构建及其学习管道的Mediapipe框架，以识别所述摄像头模块采集到的手语动作；

S2、所述数据处理模块对整个图像进行手掌检测，手部坐标模型通过回归对检测到的手部区域内的多个3D手肘坐标进行精确的关键点定位；

S3、将所述摄像头模块采集的图像回传给所述数据处理模块进行计算推演，获取手掌特征信息并标记关键点，与已有的手语动作模型进行比较，以完成图像实时检测任务；

S4、所述数据处理模块将检测到的手语动作传输至所述扬声器模块播放口语语音，同时也传输至所述显示模块显示文本信息。

5.根据权利要求4所述的一种基于机器视觉的便携式手语翻译设备的翻译方法，其特征在于，在S1中，为避免实时传输的图像因光线等原因造成图像噪声过大，利用hqdn3D算法对采集图像的过程进行降噪处理，具体的算法为：

逐像素进行，不涉及频域变换；3D去噪时参考左邻、上邻、上帧同一位置的三个像素；根据相邻像素的差确定偏置量，将相邻像素的颜色值“拉近”：对于较小的像素差异拉近其颜色值的距离，对于较大的像素差异降低偏置系数，达到保边效果；通过外部设置滤波强度，调整峰值位置。

6.根据权利要求4所述的一种基于机器视觉的便携式手语翻译设备的翻译方法，其特征在于，在S1中，为避免实时传输时因摄像头不稳定造成图像失焦，利用laplace滤波算法增强图像边缘，具体的算法为：

先在Opencv中提供cv:Laplace函数，对图像求二阶导数，由于图像是二维的，故无需分开求横向和纵向的导数；然后相加即可；laplace函数的判断条件为：当梯度最大时，二阶导数为0，从而能够很好的表现出图像的边界和轮廓。

7.根据权利要求3所述的一种基于机器视觉的便携式手语翻译设备的翻译方法，其特征在于，包括以下步骤：

S1、在所述麦克风模块的语音识别模块LD3320芯片内录入识别词语的拼音和序号，在所述述数据处理模块内储存手语动作对应的手语文本信息；

S2、所述麦克风模块识别到对应的词语时会在结果寄存器里更新为识别给过对应的序号，得到相应的文本信息，将其上传至所述数据处理模块，在所述数据处理模块内将文本信息与手语动作图像视频进行匹配；

S3、所述数据处理模块将所得的文字信息传输至所述显示模块，所述显示模块显示最终的文本信息。