[发明专利]一种基于深度学习的实时手语手势识别系统

权利要求书

1.一种基于深度学习的实时手语手势识别系统，其特征在于，所述方法包括：

步骤一、利用MediaPipe框架获取手语字母各个特征点的三维坐标信息；

步骤二、根据手部的特征点的三维坐标信息计算各个关节点到手腕特征点的欧式距离；

步骤三、根据上述特征信息计算的欧氏距离组成数列，带入卷积神经网络模型进行预分类，利用三元组损失函数TripletLoss最终识别出待识别的手语手势；

步骤四、取连续m帧识别的手语手势相一致的结果作为最终确定的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤二具体为：将收集到的手部特征点三维坐标计算出与在手腕特征点的空间距离，形成一个多维数组，作为手语手势输入的特征信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤三具体为：通过MediaPipe框架得到的一组数据，通过卷积神经网络模型GoogLeNet，损失函数选择使用三元组损失函数TripletLoss，利用三元组损失的函数，拉近相似度高的样本距离，远离相似度低的距离，最后根据最大概率和最近邻匹配准则识别出当前帧的手语手势。

4.根据权利要求1所述的方法，其特征在于，所述步骤四具体为：连续读取当前帧的状态，取连续m帧识别的手语手势相一致的结果作为最终预测结果。