[发明专利]手势识别方法和手势识别模型的训练方法及相关装置

说明书

本申请公开了一种手势识别方法和手势识别模型的训练方法及相关装置，其中，手势识别方法包括：提取待测图像的图像特征，再基于图像特征，分别提取第一子特征和第二子特征；且第一子特征包含手势类别相关的特征信息，第二子特征包含手部关键点相关的特征信息；并基于第一子特征和第二子特征进行预测，得到待测图像的手势类别。上述方案，能够提高手势识别的实时性和准确性。

技术领域

本申请涉及人机交互技术领域，特别是涉及一种手势识别方法和手势识别模型的训练方法及相关装置。

背景技术

随着人工智能技术以及计算机技术的快速发展，智能设备逐渐应用在人们日常生活的方方面面。在计算机视觉领域，手势识别允许用户通过向摄像头展示手势来与智能设备进行交互，让设备理解用户的行为，从而提供更好的服务。

目前，一般采用目标检测算法的检测框架，在检测头中利用相同的卷积模块将手势分类的结果耦合在人手边界框的预测张量中；或者，先通过目标检测网络检测出人手的边界框，再利用边界框裁剪人手图像送入后续的分类网络实现手势的分类。前者由于不同手势之间的差异较小导致耦合在预测张量中的分类结果较差，后者由于复杂度较高，导致整体手势识别的时间较长，实际应用中难以保证识别的实时性。有鉴于此，如何提高手势识别的实时性和准确性成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种手势识别方法和手势识别模型的训练方法及相关装置，能够提高手势识别的实时性和准确性。

为了解决上述技术问题，本申请第一方面提供了一种手势识别方法，包括：提取待测图像的图像特征；再基于图像特征，分别提取第一子特征和第二子特征；其中，第一子特征包含手势类别相关的特征信息，第二子特征包含手部关键点相关的特征信息；基于第一子特征和第二子特征进行预测，得到待测图像的手势类别。

为了解决上述技术问题，本申请第二方面提供了一种手势识别模型的训练方法，包括：提取样本图像的样本图像特征；其中，样本图像标注有样本手势类别和手部关键点的第一样本位置；并基于样本图像特征，分别提取得到第一样本子特征和第二样本子特征；其中，第一样本子特征包含手势类别相关的特征信息，第二样本子特征包含手部关键点相关的特征信息；再基于第一样本子特征和第二样本子特征进行预测，得到样本图像的预测手势类别，并基于第二样本子特征进行预测，得到手部关键点的第一预测位置；在此基础上，至少基于预测手势类别与样本手势类别之间的差异，以及第一预测位置和第一样本位置之间的差异，调整手势识别模型的网络参数。

为了解决上述技术问题，本申请第三方面提供了一种手势识别装置，包括第一提取模块、第二提取模块和类别预测模块；其中，第一提取模块用于提取待测图像的图像特征；第二提取模块用于基于图像特征，分别提取第一子特征和第二子特征；其中，第一子特征包含手势类别相关的特征信息，第二子特征包含手部关键点相关的特征信息；类别预测模块用于基于第一子特征和第二子特征进行预测，得到待测图像的手势类别。

为了解决上述技术问题，本申请第四方面提供了一种手势识别模型的训练装置，包括第一提取模块、第二提取模块、结果预测模块和参数调整模块；其中，第一提取模块用于提取样本图像的样本图像特征；其中，样本图像标注有样本手势类别和手部关键点的第一样本位置；第二提取模块用于基于样本图像特征，分别提取得到第一样本子特征和第二样本子特征；其中，第一样本子特征包含手势类别相关的特征信息，第二样本子特征包含手部关键点相关的特征信息；结果预测模块用于基于第一样本子特征和第二样本子特征进行预测，得到样本图像的预测手势类别，并基于第二样本子特征进行预测，得到手部关键点的第一预测位置；参数调整模块用于至少基于预测手势类别与样本手势类别之间的差异，以及第一预测位置和第一样本位置之间的差异，调整手势识别模型的网络参数。

为了解决上述技术问题，本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的手势识别方法，或上述第二方面中的手势识别模型的训练方法。