[发明专利]一种手势检测方法、装置、设备及存储介质

权利要求书

1.一种手势检测方法，其特征在于，包括：

获取原始图片；

将所述原始图片输入手势检测模型，得到所述原始图片的预测标注信息，所述原始图片的预测标注信息包括所述原始图片的预测手势边界框的位置信息和类别概率，所述原始图片的预测手势边界框的个数为两个或两个以上，所述手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到；

其中，所述手势检测模型的确定方法包括：获取训练图片以及训练图片的原始标注信息，所述训练图片的原始标注信息包括原始手势边界框的位置信息、置信度和类别概率，所述训练图片的原始边界框的个数为两个或两个以上；将所述训练图片输入卷积神经网络，得到所述训练图片的预测标注信息，所述训练图片的预测标注信息包括所述训练图片的预测手势边界框的位置信息、置信度和类别概率，所述训练图片的预测手势边界框的个数为两个或两个以上；根据所述训练图片的预测手势边界框的位置信息和所述训练图片的原始手势边界框的位置信息，计算所述训练图片的预测手势边界框与所述训练图片的原始手势边界框的交并比，并根据所述交并比与交并比阈值的关系，将所述训练图片的预测手势边界框划分为正样本、第一负样本和第二负样本，所述第一负样本和所述第二负样本组成负样本；根据正样本数量和第一负样本数量，确定目标正样本、目标正样本权重、目标负样本和目标负样本权重；根据目标正样本的预测标注信息、目标正样本的原始标注信息、目标负样本的预测标注信息、目标负样本的原始标注信息、所述目标正样本权重和所述目标负样本权重，得到所述卷积神经网络的损失函数；调整所述卷积神经网络的网络参数，直至所述损失函数的输出值小于等于预设阈值，则将所述卷积神经网络作为所述手势检测模型；

根据所述原始图片的预测标注信息，基于非极大值抑制方法从所述原始图片的预测手势边界框中确定目标手势边界框。

2.根据权利要求1所述的方法，其特征在于，所述根据正样本数量和第一负样本数量，确定目标正样本、目标正样本权重、目标负样本和目标负样本权重，包括：

根据正样本数量与正样本数量阈值的关系，确定目标正样本，以及，根据第一负样本数量与负样本数量阈值的关系，确定目标负样本；

根据目标正样本数量和目标负样本数量确定目标正样本权重，以及，根据目标正样本数量和目标负样本数量确定目标负样本权重。

3.根据权利要求2所述的方法，其特征在于，所述根据目标正样本数量和目标负样本数量确定目标正样本权重，以及，根据目标正样本数量和目标负样本数量确定目标负样本权重，包括：

计算目标正样本数量和目标负样本数量之和，得到目标样本数量；

将所述目标负样本数量与所述目标样本数量的比值作为第一指数函数的底数，将所述目标正样本数量与所述目标样本数量的比值作为第二指数函数的底数，所述第一指数函数和所述第二指数函数的自变量均为权重系数；

将所述第一指数函数作为所述目标正样本权重，将所述第二指数函数作为所述目标负样本权重。

4.根据权利要求1所述的方法，其特征在于，所述根据目标正样本的预测标注信息、目标正样本的原始标注信息、目标负样本的预测标注信息、目标负样本的原始标注信息、所述目标正样本权重和所述目标负样本权重，得到所述卷积神经网络的损失函数，包括：

根据目标正样本的预测手势边界框的置信度、目标正样本的原始手势边界框的置信度和所述目标正样本权重，得到所述卷积神经网络的第一损失函数；

根据目标负样本的预测手势边界框的置信度、目标负样本的原始手势边界框的置信度和所述目标负样本权重，得到所述卷积神经网络的第二损失函数；

根据目标正样本的预测手势边界框的位置信息和目标正样本的原始手势边界框的位置信息，得到所述卷积神经网络的第三损失函数；

根据目标正样本的预测手势边界框的类别概率和目标正样本的原始手势边界框的类别概率，得到所述卷积神经网络的第四损失函数；

根据所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，得到所述卷积神经网络的损失函数。