[发明专利]一种手部位置标识方法及装置

权利要求书

1.一种手部位置标识方法，其特征在于，包括：

获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；所述待识别的图像是地铁内安装的红外视觉传感器，拍摄的司机的工作视频，并从所述拍摄好的工作视频中提取的一帧图像；

根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置；

所述手部位置识别模型采用如下步骤建立：

从原始的视频中每隔一定间隔提出图像帧，构建成数据集；

对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，建立训练样本库；

根据所述训练样本库中的图像帧，对预先建立的神经网络模型进行训练，获得所述手部位置识别模型；

训练前，神经网络模型的权值采用均值为0、方差为1的正态分布初始化；训练时使用交叉熵损失函数，公式如下所示：

其中，y_(i，j)为由标注转换得到的热图中的点(i，j)的真实值，为计算得到的热图中的点(i，j)的估计值；

所述神经网络模型为多阶段卷积神经网络模型，具体为至少三阶段卷积神经网络模型；

在对每个阶段进行权值更新时，使用随机梯度下降操作，取30个样本为一个批量，记为B，学习率开始设为0.003，然后每经过10w次迭代计算后减半，每次迭代都会反向更新网络的权重，当损失变化随训练过程趋于1之后，则停止训练，输出基于多阶段卷积神经网络的模型；根据损失函数得到的最终梯度方向为：

2.根据权利要求1所述的方法，其特征在于，所述对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，包括：

对所述数据集中每个图像帧中的每个手部标注一个整体位置和21个手部骨骼关键点的位置。

3.一种手部位置标识装置，其特征在于，包括：

获取模块，用于获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；所述待识别的图像是地铁内安装的红外视觉传感器，拍摄的司机的工作视频，并从所述拍摄好的工作视频中提取的一帧图像；

识别模块，用于根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置；

所述手部位置识别模型采用如下步骤建立：

从原始的视频中每隔一定间隔提出图像帧，构建成数据集；

对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，建立训练样本库；

根据所述训练样本库中的图像帧，对预先建立的神经网络模型进行训练，获得所述手部位置识别模型；

训练前，神经网络模型的权值采用均值为0、方差为1的正态分布初始化；训练时使用交叉熵损失函数，公式如下所示：

其中，y_(i，j)为由标注转换得到的热图中的点(i，j)的真实值，为计算得到的热图中的点(i，j)的估计值；

所述神经网络模型为多阶段卷积神经网络模型，具体为至少三阶段卷积神经网络模型；

在对每个阶段进行权值更新时，使用随机梯度下降操作，取30个样本为一个批量，记为B，学习率开始设为0.003，然后每经过10w次迭代计算后减半，每次迭代都会反向更新网络的权重，当损失变化随训练过程趋于1之后，则停止训练，输出基于多阶段卷积神经网络的模型；根据损失函数得到的最终梯度方向为：

4.根据权利要求3所述的装置，其特征在于，所述对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，包括：

对所述数据集中每个图像帧中的每个手部标注一个整体位置和21个手部骨骼关键点的位置。