[发明专利]一种基于深度学习的实时中文手语识别交互系统

权利要求书

1.一种基于深度学习的实时中文手语识别交互系统，其特征在于：包括

图像采集模块，用于采集人体作出手语动作时人体影像图像；

图像处理模块，用于对所述图像采集模块的人体影像图像进行归一化处理后得到待识别的图像信息；

图像推理模块，与所述图像处理模块连接，用于提取图像信息中面部关键点坐标和手部关键点坐标，并将面部关键点坐标和手部关键点坐标发送给信息匹配模块；

信息匹配模块，用于在事先训练好的手语识别模型中搜索与所述面部关键点坐标和所述手部关键点坐标最匹配的手语单词，将所述手语单词发送给内容融合模块；

内容融合模块，用于通过加权平均对手语单词进行融合，得到最终的手语单词预测结果，并发送给内容输出模块；

内容输出模块，用于分别提取连续手语的空间特征和时间特征，并根据手语单词预测结果生成连续手语动作的全局语义信息，形成文字信息后显示在屏幕或形成语音信息后进行播报。

2.根据权利要求1所述的一种基于深度学习的实时中文手语识别交互系统，其特征在于：所述图像采集模块采用摄像头，所述人体影像图像包括实时采集的手语动作图像以及在训练时对每种手势采集若干个不同场景、不同拍摄角度、不同手语人的图像。

3.根据权利要求1所述的种基于深度学习的实时中文手语识别交互系统，其特征在于：所述图像处理模块采用openpose关键点起始帧检测算法以避免无效帧输入对模型准确性的影响，所述openpose关键点起始帧检测算法步骤如下，

步骤一：通过openpose数据获取人体影像图像，从openpose提供的接口获取人在执行目标动作下的人体关节点数据；

步骤二：通过CPM单人姿态检测算法，从人体关节点数据中筛选出用于表征动作的主要关键点数据；

步骤三：通过深度网络训练及动作判定模块，当判定步骤三中主要关键点数据判定有明确抬手动作时才开始图形信息的输入和检测；

步骤四：对人体影像图像进行特征集成和特征转化，基于分割网络模型分割同类图像集中得到前景物体分割图；

步骤五：进行是否需要再分割的判断；循环的条件是是否所有图像都已取得满意的分割结果；如果所有图像均已获得满意的分割结果，则分割结束；反之，则重复步骤四的动作，直至所有的图像都已取得满意的分割结果；

步骤六：将所有的图像调整成256×256像素的手语图像，并对像素值进行归一化，使其满足均值和标准差都是0.5的高斯分布。

4.根据权利要求1所述的一种基于深度学习的实时中文手语识别交互系统，其特征在于：所述图像推理模块利用人脸识别算法在手语图像中截取出人的面部区域，通过人脸特征点检测方法，提取人的面部区域的所述面部关键点坐标；利用人体运动检测算法，提取手语图像中肘关节、腕关节和每个手指的指关节的三维坐标作为手部关键点坐标。

5.根据权利要求2所述的一种基于深度学习的实时中文手语识别交互系统，其特征在于：所述手语识别模型获得具体过程如下

步骤一：通过YOLOv5算法对手语动作进行检测；

步骤二：将人体影像图像数据集的图片以及互联网上的手语动作图片作为学习的对象，以图片所对应的真实标签为基准，通过卷积神经网络学习图片的特征；

步骤三：通过yolo-lite浅层目标检测模型对数据集进行训练，对每个图片提取特征，通过层层学习，细化得到输入图片的关键信息，再和数据集中的标签进行对比矫正，通过反向传播的方式训练得到一个手语识别模型模型。

6.根据权利要求5所述的一种基于深度学习的实时中文手语识别交互系统，其特征在于：所述内容输出模块具有用于供用户选择手语单词识别模式或连续手语识别模式，并根据用户的选择显示手语单词识别模块或连续手语识别模块的输出结果。