[发明专利]一种基于区域全卷积网络的手势识别方法

摘要

本发明公开了一种基于区域全卷积网络的手势识别方法，对于输入的手势图像，通过全卷积网络进行特征提取，获得一组特征图并生成候选框，而位置敏感子网络产生位置敏感得分图，通过池化层为每个手势类别进行打分，从而实现目标手势的定位与分类；本发明主要特点是整个区域全卷积网络是一个共享的全卷积结构，整个结构是端到端的学习，在实现高精度的识别率的同时避免了复杂的计算，并且结合OHEM技术，网络模型对负样本有了更高的拒识率，便于实际应用，对于人机交互领域有着重要意义。

主权项

1.一种基于区域全卷积网络的手势识别方法，其特征在于，包括以下步骤：步骤1，建立全卷积网络使用残差网络ResNet‑34网络架构作为骨架，将RerNet‑34网络的步长由32像素改为16像素，删除了ResNet‑34网络架构的平均池化层和全连接层，然后利用ResNet‑34网络架构的卷积层构建全卷积网络，以提取输入图像的特征；输入图像经过全卷积网络后输出特征图，特征图上的每一个像素点产生多个用于预测坐标框位置的候选框；步骤2，建立区域候选网络建立区域候选网络，该网络包括所述全卷积网络的最后一个卷积层，在该卷积层之后有两个分支，其中一个分支依次为卷积层、第一调整层、归一化层和第二调整层，该分支的作用是用于判断所述候选框属于前景、背景的分数，另外一个分支为一个卷积层，其作用是预测候选框与真实坐标框位置的偏移量；所述的第一调整层、第二调整层用于改变图像的维度，归一化层用于进行归一化操作；步骤3，训练区域候选网络筛选候选框用以训练区域候选网络，筛选的规则是：如果候选框与真实坐标框的重叠率≥0.7，则认为该候选框是前景；如候选框与真实坐标框的重叠率<0.3，则认为该候选框是背景；将前景、背景对应的候选框作为区域候选网络的训练数据进行训练，其中，前景对应的候选框为正样本，背景对应的候选框为负样本；区域候选网络训练的损失函数为：L＝cls_loss+λ*reg_loss其中，λ为可调节参数；为了训练区域候选网络，将一个二进制类标签分配给需要训练的候选框，设p_i是第i个候选框属于前景的预测概率，是真实标签，则cls_loss定义为：reg_loss用于回归候选框与真实坐标框的偏差量，定义为：式中i∈(x,y,w,h)，t_i是第i个候选框与真实坐标框[x,y,w,h]的偏移量的预测输出，是第i个候选框与真实坐标框的[x,y,w,h]的偏移量的真实值，x,y表示坐标，w、h表示宽度、高度；区域候选网络利用所述的损失函数L，通过反向传播和随机梯度下降法进行端到端训练，用标准偏差0.01的零均值高斯分布来初始化权重；步骤4，构建位置敏感子网络所述的位置敏感子网络包括在所述全卷积网络最后一个卷积层之后连接的一个卷积层，输入图像经过全卷积网络处理后，输出的特征图再经过该卷积层进行卷积操作后，得到位置敏感得分图；该卷积层为每个手势类别产生一个维数为k²(c+1)的位置敏感得分图，k²个位置敏感得分图是由k*k个空间网格来描述的相对位置，其中c代表识别物体类别数；步骤5，位置敏感候选框的池化训练后的区域候选网络输出候选框与真实坐标框的偏差量，其中包含候选框区域的位置信息；根据所述位置信息，将候选框对应到步骤4中得到的位置敏感得分图，而候选框会被划分成k*k个子区域，每个子区域都对应到得分图上的一个区域；所述的位置敏感子网络还包括一个池化层，用于实现以下功能：从候选框中分别抽取每个类别对应的位置敏感得分图，分别对抽取的得分图求均值，然后按照位置组成矩阵，对矩阵中所有值求和，得到一个值；对所有类别进行同样的处理后，得到的所有值共同构成一个输出向量，将输出向量进行归一化处理，从而估计当前候选区域属于什么类别；步骤6，对网络利用手势图片的数据库进行训练，保存训练后的网络模型用于手势分类。