[发明专利]一种三维人手关键点定位方法及装置

权利要求书

1.一种三维人手关键点定位方法，其特征在于，包括：

获取实际场景的深度图像；

通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；

对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；

通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；

若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标。

2.根据权利要求1所述的三维人手关键点定位方法，其特征在于，所述第一神经网络为卷积神经网络，所述通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域，包括：

对所述深度图像进行尺寸变换，得到固定尺寸的深度图像；

将所述固定尺寸的深度图像输入到第一神经网络，使用所述第一神经网络对所述固定尺寸的深度图像进行手掌区域分割；

对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理，得到分割后的手掌区域。

3.根据权利要求2所述的三维人手关键点定位方法，其特征在于，所述对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理，得到分割后的手掌区域，包括：

在分割后的所述固定尺寸的深度图像中选择第一起始点，从该起始点开始把附近与该起始点连通的像素点提取出来，保存到第一列表中，同时标记这些像素点为已处理；其中，该起始点的像素值与连通于该起始点的像素点的分割值相等；

在分割后的所述固定尺寸的深度图像中的未处理的像素点中不断寻找与所述第一列表中的点邻接且分割值相同的点，加入到所述第一列表中，直到所有与所述第一起始点连通的像素点均被找到和标记为已处理，且加入到所述第一列表中；

在分割后的所述固定尺寸的深度图像中的未处理的像素点中选择第二起始点，并找到和标记所有与所述第二起始点连通的像素点，且加入第二列表中；

在分割后的所述固定尺寸的深度图像中的未处理的像素点中选择除所述第一起始点和第二起始点外的其它起始点，并找到和标记所有与所述其它起始点连通的像素点，直至分割后的所述固定尺寸的深度图像中所有点均被标记为已处理，并得到多个列表，每个列表维护1个连通区域对应的所有像素点；

找到所有列表中像素点值为1且像素点数量最多的一个列表，并确定所述像素点值为1且像素点数量最多的一个列表对应的为手掌区域。

4.根据权利要求2所述的三维人手关键点定位方法，其特征在于，所述对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图，包括：

选取所述手掌区域中所有像素点相对所述固定尺寸的深度图像所对应的坐标系的横纵坐标中的最大值和最小值，得到，并由所述横纵坐标的最大值和最小值得到包含人手的矩形框的对角线位置坐标；其中，左上角位置坐标为()，右下角位置坐标为()；

通过所述矩形框对所述深度图像进行裁剪，获取所述手掌区域的深度图，将所述手掌区域的深度值归一化，并将所述手掌区域进行尺寸变换，得到归一化后的固定大小的手掌区域的深度图。

5.根据权利要求1所述的三维人手关键点定位方法，其特征在于，所述第二神经网络为用于判断获取的所述深度图像是否属于恶意攻击的防伪卷积神经网络，所述通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌，包括：

将所述归一化后的手掌区域的深度图送入第二神经网络中；

通过所述第二神经网络得到判断值，并通过所述判断值判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；其中，所述第二神经网络包括5个卷积层和3个全连接层，卷积层的卷积核大小均为3*3，输出特征图的数目分别为32,64,128,256,512,前三个卷积层后接降采样层，降采样窗口为3*3，所有卷积层后接线性整流函数ReLU，全连接层的节点数目分别为4096,1024,3，全连接层的前两个全连接层后接Dropout函数，Dropout函数用于将输出以预先设定概率随机置零，以防止过拟合，全连接层的最后一层的3个节点表示3个类别，分别代表真人手掌、图片攻击、视频攻击。