[发明专利]一种基于机器视觉的手语识别方法

权利要求书

1.一种基于机器视觉的手语识别方法，其特征在于，包括：

获取待识别的手语视频，使用二维骨骼识别模型OpenPos识别手语视频中每一帧人像的骨骼关键点，构建上肢骨骼数据；

根据上肢骨骼数据裁剪手语视频中的每一帧原图像，并对裁剪后的图像剔除背景，获得包含上肢且无背景的检测图像；

计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；

通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；

将像素识别特征和骨骼识别特征进行融合，并输入Bi-LSTM网络获得识别向量；

再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果。

2.根据权利要求1所述的一种基于机器视觉的手语识别方法，其特征在于，对裁剪后的图像剔除背景的方法，包括：

采用预设的语义分割模型DeepLabV3+对裁剪后的图像剔除背景；其中，预设的语义分割模型DeepLabV3+的主干网络Xception替换为MobileNet V3。

3.根据权利要求1所述的一种基于机器视觉的手语识别方法，其特征在于，根据上肢骨骼数据裁剪手语视频中的每一帧原图像，包括：

根据上肢骨骼数据计算裁剪边界，根据裁剪边界对手语视频中的每一帧原图像进行裁剪；裁剪边界计算公式为：

x₁＝Max(D_x)

x₂＝Min(D_x)

y₁＝Max(D_y)

y₂＝Min(D_y)

其中，x₁、x₂、y₁、y₂分别表示右边界、左边界、上边界、下边界裁剪位置，Max()、Min()分别表示取参数中的最大值、最小值，D_x、D_y分别表示各上肢骨骼关键点的横坐标集合、纵坐标集合。

4.根据权利要求1所述的一种基于机器视觉的手语识别方法，其特征在于，所述像素特征包括三值帧差特征和灰度像素特征；上肢骨骼数据的骨骼特征包括骨骼几何关系特征、骨骼轨迹特征和手部骨骼特征；通过卷积神经网络分别对三值帧差特征、灰度像素特征、骨骼几何关系特征、骨骼轨迹特征和手部骨骼特征进行提取，得到三值帧差识别特征、灰度像素识别特征、骨骼几何关系识别特征、骨骼轨迹识别特征和手部骨骼识别特征。

5.根据权利要求4所述的一种基于机器视觉的手语识别方法，其特征在于，所述上肢骨骼数据在手指和手掌设有21个骨骼关键点，手指和手掌的骨骼关键点构成手部骨骼特征。

6.根据权利要求4所述的一种基于机器视觉的手语识别方法，其特征在于，三值帧差特征计算过程，包括：

将检测图像中上肢部分的灰度值设定为255，将检测图像中其余部分的灰度值设定为0，得到二值化处理的检测图像；

计算二值化处理的检测图像中每个像素点的二值帧差特征D_n(x,y)，再根据二值帧差特征D_n(x,y)计算三值帧差特征D'_n(x,y)，计算公式为：

D_n(x,y)＝f_n(x,y)-f_n-1(x,y)

其中，n表示手语视频中第n帧，x表示像素点的横坐标，y表示像素点的纵坐标，f_n(x,y)、f_n-1(x,y)分别表示第n帧、第n-1帧二值化处理的检测图像中像素点(x,y)的灰度值，若n＝1，则设n-1＝1。