[发明专利]一种搭建针对手势检测的深度学习网络结构的方法及系统

摘要

本发明公开了一种搭建针对手势检测的深度学习网络结构的方法及系统，方法包括：针对已有的手势图像数据集及手势的骨架信息标签搭建第一卷积神经网络；针对同样的数据集及手势的语义分割标签搭建第二卷积神经网络；将两个卷积神经网络的数据层和损失层合并，用并联的方式对两个网络进行连接；将两个网络的全卷积层输出结果分别反馈到对方网络的前端作为输入的一部分；利用改进后的网络结构进行训练、得到模型。系统包括：骨架检测单元，语义分割单元，全卷积层输出交叉反馈单元。本发明能够只通过一个深度学习网络对手势的骨架信息和语义分割信息进行并行检测，可以同时输出骨架检测和语义分割结果，且更为准确。

主权项

1.一种搭建针对手势检测的深度学习网络结构的方法，其特征在于，包括如下步骤:步骤1，针对已有的手势图像数据集及手势的骨架信息标签搭建第一卷积神经网络，用于通过训练实现对图像中手势的骨架检测；步骤2，针对同样的手势图像数据集及手势的语义分割标签搭建第二卷积神经网络，用于通过训练实现对图像中手势的语义分割；步骤3，将两个卷积神经网络的数据层和损失层合并，用并联的方式对两个网络进行连接；步骤4，将两个网络的全卷积层输出结果分别反馈到对方网络的前端作为输入的一部分；步骤5，利用步骤4改进后的网络结构进行训练、得到模型，从而实现对图像中手势的骨架信息和语义分割信息的并行检测。