[发明专利]一种基于机器视觉的手语识别方法

说明书

本发明公开了手语识别领域的一种基于机器视觉的手语识别方法，包括根据待识别的手语视频构建上肢骨骼数据；获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；根据像素识别特征、骨骼识别特征获得识别向量；再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果；本发明通过识别双臂的移动和位置特征，增加了手语识别的范围，提高了手语识别的精度。

技术领域

本发明属于手语识别领域，具体涉及一种基于机器视觉的手语识别方法。

背景技术

随着手语的发展和完善，聋哑人之间已经可以通过手语轻松地交流，但聋哑人和正常人的交流仍然面临很大的困境，这就导致缺乏和社会的正常互动成为了聋哑人正常生活的一个主要障碍。聋哑人看病难的问题其实一直存在，现在聋哑人基本都是需要在手语翻译志愿者的帮助下才能正常看病，一般聋哑人生病不会去医院，只有当实在难以忍受时，才会选择去医院就诊，原因就是和医生的沟通非常困难。据世界聋人联合会统计，全世界有七千万的聋人，因此清除聋人和正常人交流的阻碍、促进他们融入社会、解决他们看病难的问题是如今势在必行的研究课题。

对于基于视觉的手语识别，研究者需要选择合适的数据进行研究。比如SalehAly等人在2020年的研究中选择只将手部图像作为使用的数据，所以他们研究的缺点在于利用的人体数据太少，并且视频数据中包含的背景噪声对识别准确度有一定影响，导致对手语的识别不准确，能够识别的手语也不全面。

发明内容

本发明的目的在于提供一种基于机器视觉的手语识别方法，通过识别双臂的移动和位置特征，增加了手语识别的范围，去除背景噪声，提高了手语识别的精度。

为达到上述目的，本发明所采用的技术方案是：

本发明提供了一种基于机器视觉的手语识别方法，包括：

获取待识别的手语视频，使用二维骨骼识别模型OpenPos识别手语视频中每一帧人像的骨骼关键点，构建上肢骨骼数据；

根据上肢骨骼数据裁剪手语视频中的每一帧原图像，并对裁剪后的图像剔除背景，获得包含上肢且无背景的检测图像；

计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；

通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；

将像素识别特征和骨骼识别特征进行融合，并输入Bi-LSTM网络获得识别向量；

再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果。

优选的，对裁剪后的原图像剔除背景的方法，包括：

采用预设的语义分割模型DeepLabV3+对裁剪后的图像剔除背景；其中，预设的语义分割模型DeepLabV3+的主干网络Xception替换为MobileNet V3。

优选的，根据上肢骨骼数据裁剪手语视频中的每一帧原图像，包括：

根据上肢骨骼数据计算裁剪边界，根据裁剪边界对手语视频中的每一帧原图像进行裁剪；裁剪边界计算公式为：

x₁＝Max(D_x)

x₂＝Min(D_x)

y₁＝Max(D_y)

y₂＝Min(D_y)