[发明专利]一种搭建针对手势检测的深度学习网络结构的方法及系统

权利要求书

1.一种搭建针对手势检测的深度学习网络结构的方法，其特征在于，包括如下步骤:

步骤1，针对已有的手势图像数据集及手势的骨架信息标签搭建第一卷积神经网络，用于通过训练实现对图像中手势的骨架检测；

步骤2，针对同样的手势图像数据集及手势的语义分割标签搭建第二卷积神经网络，用于通过训练实现对图像中手势的语义分割；

步骤3，将两个卷积神经网络的数据层和损失层合并，用并联的方式对两个网络进行连接；

步骤4，将两个网络的全连接层输出结果分别反馈到对方网络的前端作为输入的一部分；

步骤5，利用步骤4改进后的网络结构进行训练、得到模型，从而实现对图像中手势的骨架信息和语义分割信息的并行检测。

2.根据权利要求1所述的搭建针对手势检测的深度学习网络结构的方法，其特征在于：所述步骤4中反馈位置为对方网络某一卷积层的输入处。

3.根据权利要求2所述的搭建针对手势检测的深度学习网络结构的方法，其特征在于：所述步骤4中将第一卷积神经网络全连接层输出的骨架检测结果反馈到第二卷积神经网络的第二个卷积层的输入处，与原本的输入合并作为第一卷积神经网络的第二个卷积层新的输入，将第一卷积神经网络的全连接层输出的语义分割结果反馈到第一卷积神经网络的第二个卷积层的输入处，与原本的输入合并作为第一卷积神经网络的第二个卷积层新的输入。

4.搭建针对手势检测的深度学习网络结构的系统，其特征在于，包括：

骨架检测单元，用于搭建一个能够对采集的手势图像进行骨架检测的卷积神经网络；

语义分割单元，用于搭建一个能够对采集的手势图像进行语义分割的卷积神经网络；

全连接层输出交叉反馈单元，用于将两个卷积神经网络的全连接层输出交叉反馈到对方网络第二个卷积层的输出处，与原有输入合并作为第二个卷积层新的输入。

5.根据权利要求4所述的搭建针对手势检测的深度学习网络结构的系统，其特征在于，两个卷积神经网络的数据层和损失层合并，两个网络通过并联方式连接。