[发明专利]一种手势检测方法、装置、设备及存储介质

说明书

本发明公开了一种手势检测方法、装置、设备及存储介质。该方法包括：获取原始图片；将原始图片输入手势检测模型，得到原始图片的预测标注信息，原始图片的预测标注信息包括原始图片的预测手势边界框的位置信息和类别概率，手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到；根据原始图片的预测标注信息，基于非极大值抑制方法从原始图片的预测手势边界框中确定目标手势边界框(即确定手势)。本发明实施例通过采用平衡训练图片中目标正样本和目标负样本在卷积神经网络中所占权重得到的手势检测模型进行手势检测，提高了手势检测模型对目标手势检测框的预测精度。

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种手势检测方法、装置、设备及存储介质。

背景技术

近年来，随着计算机硬件性能的提升和大规模图像数据的出现，使得深度学习在计算机视觉领域得到广泛应用，其中，卷积神经网络是在计算机视觉领域具有突出成就的一个深度学习的神经网络结构。

手势检测是计算机视觉中目标检测的一个垂直应用，被广泛应用于人机交互和虚拟现实等领域。针对手势检测来说，采用基于卷积神经网络训练生成的手势检测模型进行手势检测得到广泛应用。基于卷积神经网络训练生成的手势检测模型进行手势检测的处理流程是：将图片输入手势检测模型中，得到图片的预测标注信息，图片的预测标注信息包括预测手势边界框的位置信息和类别概率。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：对于通常图片来说，除手势外的其它对象占据了图片中大部分像素区域，即手势占据了图片中少部分的像素区域，换句话说，手势作为目标对象出现在图片中的数量少，上述使得包含手势的边界框的数量也较少，这里将包含手势的边界框称为正样本。在对卷积神经网络进行训练得到手势检测模型的过程中，由于正样本数量不足，将产生大量不包含手势的边界框，这里将不包含手势的边界框称为负样本，即将产生大量负样本，因此，存在着由正负样本数量不平衡所导致的类别不平衡问题，上述类别不均衡问题将使得卷积神经网络无法得到有效训练，进而降低了基于卷积神经网络训练生成的手势检测模型的预测精度。

发明内容

本发明实施例提供一种手势检测方法、装置、设备及存储介质，以提高手势检测模型的预测精度。

第一方面，本发明实施例提供了一种手势检测方法，该方法包括：

获取原始图片；

将所述原始图片输入手势检测模型，得到所述原始图片的预测标注信息，所述原始图片的预测标注信息包括所述原始图片的预测手势边界框的位置信息和类别概率，所述原始图片的预测手势边界框的个数为两个或两个以上，所述手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到；

根据所述原始图片的预测标注信息，基于非极大值抑制方法从所述原始图片的预测手势边界框中确定目标手势边界框。

进一步的，所述手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到，包括：

获取训练图片以及训练图片的原始标注信息，所述训练图片的原始标注信息包括原始手势边界框的位置信息、置信度和类别概率，所述训练图片的原始边界框的个数为两个或两个以上；

将所述训练图片输入卷积神经网络，得到所述训练图片的预测标注信息，所述训练图片的预测标注信息包括所述训练图片的预测手势边界框的位置信息、置信度和类别概率，所述训练图片的预测手势边界框的位置信息和所述训练图片的原始手势边界框的位置信息，计算所述训练图片的预测手势边界框与所述训练图片的原始手势边界框的交并比，并根据所述交并比与交并比阈值的关系，将所述训练图片的预测手势边界框划分为正样本、第一负样本和第二负样本，所述第一负样本和所述第二负样本组成负样本；