[发明专利]基于深度学习的举手动作识别方法、装置及存储介质

权利要求书

1.一种基于深度学习的举手动作识别方法，其特征在于，包括：

获取包含待识别对象的上肢的图像；

利用基于深度学习训练的特征提取模型，确定所述待识别对象的上肢的多个特征点在所述图像中的位置信息；以及

根据所确定的位置信息，利用预先设置的分类模型，判定所述待识别对象是否做出举手动作。

2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括第一卷积神经网络，并且利用基于深度学习训练的特征提取模型，确定所述待识别对象的上肢的多个特征点在所述图像中的位置信息的操作，包括：

利用所述第一卷积神经网络，根据所述图像生成多个通道的第一特征图；

将各个通道的第一特征图中的最大数值点确定为所述特征点；以及

根据所述特征点在各自的第一特征图中的位置，确定所述特征点在所述图像中的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述特征提取模型还包括第二卷积神经网络，并且利用基于深度学习训练的特征提取模型，确定所述待识别对象的上肢的多个特征点在所述图像中的位置信息的操作，还包括：

利用所述第二卷积神经网络，根据所述图像生成多个通道的第二特征图；

根据所述第二特征图确定所述多个特征点中相邻的两个特征点之间的位置关系；以及

根据所述第二特征图所确定的位置关系，对利用所述第一特征图所确定的特征点进行筛选，并且确定用于进行分类的待分类特征点。

4.根据权利要求3所述的方法，其特征在于，根据所确定的位置信息，利用预先设置的分类模型，判定所述待识别对象是否做出举手动作的操作，还包括：根据所述待分类特征点的位置信息，利用预先设置的支持向量机模型，判定所述待识别对象是否做出举手动作的操作。

5.根据权利要求4所述的方法，其特征在于，还包括通过以下操作对所述第一卷积神经网络进行训练：

获取多个包含上肢的样本图像；

构建第一卷积神经网络；

利用所述第一卷积神经网络，生成与所述样本图像对应的第一输出向量，其中所述第一输出向量用于指示所述样本图像中包含的特征点在所述样本图像中的位置信息；以及

将所述第一输出向量与预先设置的与所述样本图像对应的第一标注向量进行比较，并且根据比较的结果调节所述第一卷积神经网络。

6.根据权利要求4所述的方法，其特征在于，还包括通过以下操作对所述第二卷积神经网络进行训练：

获取多个包含上肢的样本图像；

构建第二卷积神经网络；

利用所述第二卷积神经网络，生成与所述样本图像对应的第二输出向量，其中所述第二输出向量用于指示所述样本图像中包含的相邻的两个特征点之间的位置关系；以及

将所述第二输出向量与预先设置的与所述样本图像对应的第二标注向量进行比较，并且根据比较的结果调节所述第二卷积神经网络。

7.根据权利要求5所述的方法，其特征在于，将所述第一输出向量与预先设置的与所述样本图像对应的第一标注向量进行比较的操作，包括计算所述第一输出向量与所述第一标注向量之间的第一L2空间距离，以及根据比较的结果调节所述第一卷积神经网络的操作，包括：

将所述第一L2空间距离作为第一损失函数，计算所述第一损失函数的第一梯度；以及

基于所述第一梯度，根据随机梯度下降原理对所述第一卷积神经网络进行调节。

8.根据权利要求6所述的方法，其特征在于，将所述第二输出向量与预先设置的与所述样本图像对应的第二标注向量进行比较的操作，包括计算所述第二输出向量与所述第二标注向量之间的第二L2空间距离，以及根据比较的结果调节所述第二卷积神经网络的操作，包括：

将所述第二L2空间距离作为第二损失函数，计算所述第二损失函数的第二梯度；以及

基于所述第二梯度，根据随机梯度下降原理对所述第二卷积神经网络进行调节。