[发明专利]手语识别方法及装置、计算机存储介质、电子设备

说明书

本公开涉及人工智能技术领域，提供了一种手语识别方法、手语识别装置、计算机存储介质、电子设备，其中，手语识别方法包括：基于目标检测算法提取待识别的手语视频中包含的手势图像，获取手势图像对应的特征向量；将特征向量输入训练好的手语识别模型中，根据手语识别模型的输出，得到手势图像对应的手语识别结果；根据自然语言处理算法对手语识别结果进行处理，得到所述手势图像对应的文本识别结果。本公开中的手语识别方法不仅能够降低手语识别成本，而且能够提高识别准确度。

技术领域

本公开涉及人工智能技术领域，特别涉及一种手语识别方法、手语识别装置、计算机存储介质及电子设备。

背景技术

随着互联网及计算机技术的迅速发展，相关手语识别领域也在迅速发展。手语识别是通过计算机视觉技术，把识别后手势图像与图像库中已有手语进行比对，检索出手势图像所要表达的意义。该技术可与语音识别、自然语言处理、语音播报等技术相结合，应用于聋哑人士社交场景，使聋哑人能正常与人交流。

目前，相关方法中一般是借助于可穿戴设备(例如：可穿戴手环、手套等)来捕捉聋哑人士的手部动作，从而实现对聋哑人士的手语识别。然而，一方面，设备的操作负载，且使用成本高；另一方面，部分手语单词需要配合嘴部或肩部动作，设备无法完全捕捉，其可适应性较差，识别准确率较低。

鉴于此，本领域亟需开发一种新的手语识别方法及装置。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

发明内容

本公开的目的在于提供一种手语识别方法、手语识别装置、计算机存储介质及电子设备，进而至少在一定程度上避免了现有技术中的方法识别准确率较低的缺陷。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种手语识别方法，包括：基于目标检测算法提取待识别的手语视频中包含的手势图像，获取所述手势图像对应的特征向量；将所述特征向量输入训练好的手语识别模型中，根据所述手语识别模型的输出，得到所述手势图像对应的手语识别结果；根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果。

在本公开的示例性实施例中，在得到所述手势图像对应的文本识别结果之后，所述方法还包括：将所述文本识别结果与预先设定的标准文本进行匹配，将匹配成功的标准文本作为所述手势图像的最终识别结果。

在本公开的示例性实施例中，在基于目标检测算法提取待识别的手语视频中包含的手势图像之后，所述方法还包括：根据图像分类算法对所述手势图像进行分类，得到图像分类结果；当所述图像分类结果为非业务类型时，舍弃所述手势图像。

在本公开的示例性实施例中，所述方法还包括：当所述图像分类结果为业务类型时，对所述手势图像进行二值化处理，以得到二值化图像；对得到的所述二值化图像进行形态学处理。

在本公开的示例性实施例中，所述方法还包括：将所述待识别的手语视频对应的文件大小调整为第一目标数值；将所述待识别的手语视频对应的视频帧率调整为第二目标数值；将所述待识别的手语视频对应的视频格式转换为目标格式。

在本公开的示例性实施例中，获取手势图像样本以及所述手势图像样本对应的标签信息；所述标签信息用于标识所述手势图像样本对应的语义文本；根据所述手势图像样本与所述标签信息训练机器学习模型，以得到所述手语识别模型。

在本公开的示例性实施例中，所述根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果，包括：根据自然语言处理算法对所述手语识别结果进行去重、纠错和/或消除歧义处理，得到所述手势图像对应的文本识别结果。