[发明专利]一种基于分层卷积神经网络的手势姿态识别方法

说明书

本发明公开了一种基于分层卷积神经网络的手势姿态识别方法，包括如下步骤：S1、训练数据集与模型预测数据准备；S2、手势姿态估计网络构建；主要包含：手势掩码分割网络、手势初步姿态估计网络和手势分层结构网络；S3、将训练数据输入所述手势姿态估计网络进行学习，输出预测姿态结果；S4、将手势姿态估计网络预测的结果与训练数据集中的对应标签数据进行不断对比，计算对应的损失值；将所述损失值反馈至手势姿态估计网络中并对网络进行不断参数修正；根据视频帧对应的预测手势姿态，确定目标所对应的手势姿态识别结果。本发明具有精度高的优点，在人机交互、虚拟现实与手语识别等领域具有巨大的应用价值。

技术领域

本发明属于AI(Artificial Intelligence,人工智能)技术领域，具体涉及一种基于分层卷积神经网络的手势姿态识别方法。

背景技术

手势姿态识别是指从图像中准确识别出手势关键点的位置。手势姿态识别技术在人机交互、虚拟现实(VR)和增强现实(AR)等领域起到重要的作用。过去几年由于深度传感器的发展，手势姿态识别技术从传统的数据手套硬件方案到计算机视觉技术方案转变。由于大量的深度图像数据集的驱动，手势姿态识别技术也迎来了一波高潮。然而，现实生活中大量存在的是RGB图像，并且受限于深度传感器的探测距离与深度图像的低分辨率等问题。

近些年由于深度神经网络的快速发展，一些学者开始研究基于深度神经网络在RGB图像上手势姿态识别方法。手势姿态识别方法主要有以下三个阶段：首先，利用卷积神经网络预测手势掩码；然后利用手势掩码去获得关键点热图；最后利用关键点热图回归手势关键点位置信息。

手势姿态识别方法主要从前两个阶段进行创新，第一阶段常用的方法主要有：1.通过目标检测算法去获取手势目标框，然后进行手势裁剪，最后进行二值化。这种方法会造成网络冗余，并且十分复杂、同时也会造成掩码出现较大误差。2.使用带有大量手势掩码的数据集去预测手势掩码。这种方法由于要大量的手势掩码的标注数据，人力成本与时间成本较高。第二阶段常用的方法主要有：1.直接利用卷积神经网络获取手势掩码的特征信息，再对特征信息获取手势关键点热图。2.通过多个结构网络级联获取手势掩码，对获取的手势掩码利用多个估计网络级联形式获取手势热图。第二种方法是在第一种方法基础上进行的创新，由于经过多次级联，方法二精度有一定提升。

手势姿态识别关键帧提取方法、装置及可读存储介质，申请号为202110345732.4，此发明提出了一种手势姿态识别关键帧提取方法、装置及可读存储介质，主要通过目标检测算法，实现目标手势检测，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像。这种方式适用于手势姿态识别的预处理阶段，对于手势姿态识别很难实现端到端训练，同时采用皮肤检测算法容易受到类似肤色背景干扰，并且实现的方式与本发明不同。

手部姿态识别模型的训练方法,装置,设备及存储介质，申请号为CN202010042559.6，此发明提出了一种手部姿态识别模型的训练方法,装置,设备及存储介质，本发明主要采用结构预测模型实现手势分割掩码，并通过姿态预测模型实现手势关键点预测。此发明有效的解决了手势掩码标注成本高的问题，但对于多尺度目标手势掩码分割与姿态估计具有一定的误差，实现的方式与本发明不同。

发明内容

本发明的主要目的在于提出一种基于分层卷积神经网络的手势姿态识别方法，主要在第一、二阶段的创新，以克服现有方法所存在的识别精度不高、手势分割掩码成本大、小尺度难识别的问题。

本发明至少通过如下技术方案之一实现。

一种基于分层卷积神经网络的手势姿态识别方法，包括如下步骤：

S1、获取训练数据集与模型预测数据；

S2、将训练数据输入手势姿态估计网络进行学习，输出预测姿态结果；

所述手势姿态估计网络包括手势掩码分割网络、手势初步姿态估计网络和手势分层结构网络；