[发明专利]一种搭建针对手势检测的深度学习网络结构的方法及系统

说明书

本发明公开了一种搭建针对手势检测的深度学习网络结构的方法及系统，方法包括：针对已有的手势图像数据集及手势的骨架信息标签搭建第一卷积神经网络；针对同样的数据集及手势的语义分割标签搭建第二卷积神经网络；将两个卷积神经网络的数据层和损失层合并，用并联的方式对两个网络进行连接；将两个网络的全卷积层输出结果分别反馈到对方网络的前端作为输入的一部分；利用改进后的网络结构进行训练、得到模型。系统包括：骨架检测单元，语义分割单元，全卷积层输出交叉反馈单元。本发明能够只通过一个深度学习网络对手势的骨架信息和语义分割信息进行并行检测，可以同时输出骨架检测和语义分割结果，且更为准确。

技术领域

本发明属于计算机视觉及图形学技术领域，具体涉及一种搭建针对手势检测的深度学习网络结构的方法及系统。

背景技术

手势检测是研究人员一直关心的问题，因为在人与人之间的信息交流中，手势通常扮演着很重要的作用。在虚拟现实中，手是用户模型中十分重要的动作与感知关系模型，人的行为特征是人机交互的重要研究内容。在人机交互过程中，通过手势动作直接与计算机系统进行交互，相比传统的交互方式更加直观、清晰，同时也使用户具备更好的体验。

到目前为止，手势的检测已经取得了很多的研究成果。概括起来可以分为二大类：1)传统方法，如基于肤色提取的手势检测方法，在YCrCb颜色空间中利用肤色椭圆模型进行手势检测；2)深度学习方法，如在卷积神经网络中使用数据集和人为标定好标签的进行语义分割的训练等。这些方法经过多年的发展，均能取得不错的效果。但是目前尚存在以下问题：1)传统方法检测速度较慢且基于肤色的手势检测具有一定的局限性；2)深度学习算法的准确率存在瓶颈。

发明内容

为解决上述问题，本发明公开了一种搭建针对手势检测的深度学习网络结构的方法及系统，相对于常见方法，本发明针对图像的手势检测能够提供更高的准确率。

为了达到上述目的，本发明提供如下技术方案：

一种搭建针对手势检测的深度学习网络结构的方法，包括如下步骤:

步骤1，针对已有的手势图像数据集及手势的骨架信息标签搭建第一卷积神经网络，用于通过训练实现对图像中手势的骨架检测；

步骤2，针对同样的手势图像数据集及手势的语义分割标签搭建第二卷积神经网络，用于通过训练实现对图像中手势的语义分割；

步骤3，将两个卷积神经网络的数据层和损失层合并，用并联的方式对两个网络进行连接；

步骤4，将两个网络的全卷积层输出结果分别反馈到对方网络的前端作为输入的一部分；

步骤5，利用步骤4改进后的网络结构进行训练、得到模型，从而实现对图像中手势的骨架信息和语义分割信息的并行检测。

进一步的，所述步骤4中反馈位置为对方网络某一卷积层的输入处。

进一步的，所述步骤4中将第一卷积神经网络全卷积层输出的骨架检测结果反馈到第二卷积神经网络的第二个卷积层的输入处，与原本的输入合并作为第一卷积神经网络的第二个卷积层新的输入，将第一卷积神经网络的全卷积层输出的语义分割结果反馈到第一卷积神经网络的第二个卷积层的输入处，与原本的输入合并作为第一卷积神经网络的第二个卷积层新的输入。

搭建针对手势检测的深度学习网络结构的系统，包括：

骨架检测单元，用于搭建一个能够对采集的手势图像进行骨架检测的卷积神经网络；

语义分割单元，用于搭建一个能够对采集的手势图像进行语义分割的卷积神经网络；

全卷积层输出交叉反馈单元，用于将两个卷积神经网络的全卷积层输出交叉反馈到对方网络第二个卷积层的输出处，与原有输入合并作为第二个卷积层新的输入。