[发明专利]一种手部关键点检测方法

说明书

本申请公开了一种手部关键点检测方法，包括以下步骤：S1获取手部的图像，搭建的手部关键点检测网络模型；S2标注S1中手部的图像，生成真实热力图标签；S3处理后的手部图像数据输入到搭建的手部关键点检测网络模型中进行训练，利用损失函数计算预测结果和真实值之间的损失值，然后用优化器进行优化，迭代到损失值收敛；将预测热力图中概率值最大的点作为关键点，绘制检测可视化图；S1中搭建的手部关键点检测网络模型中使用最大值反池化层来提高特征图的分辨率。

技术领域

本发明涉及一种手部关键点检测方法。

背景技术

手部关键点技术主要分为两大类：基于RGB图像的手部关键点检测和三维手部关键点估计。前者在技术发展早期，主要通过颜色滤波器分割出手部以达到检测的目的，但是这类方法依赖肤色，当手部处于复杂的场景中的时候检测效果较差，后期基于RGB图像的手部关键点检测技术随着计算机视觉技术的发展逐渐偏向于基于深度卷积神经网络的方法，通过构建卷积神经网络框架对手部关键点进行检测。后者技术的任务目标是定位到一帧深度图像中手部关键点的三维坐标，多数用于虚拟沉浸式游戏、交互机器人等等，主要分为两种方法：一种是基于模型的方法，该方法是将深度图像和预先定义的三维手部模型进行匹配；另外一种是以数据为驱动的方法，这类方法是用合适的机器学习模型直接从训练数据中学习手部姿态，其中基于深度学习的技术是最为典型的数据驱动方法。然而，三维手部关键点估计技术需要使用深度相机采集深度图像作为数据，也因此存在获取数据麻烦、设备昂贵的缺点，应用场景上存在局限性，相反，基于RGB图像的手部关键点检测方法数据采集简洁，有着更加广泛的应用前景。

目前，使用RGB图像作为数据的基于深度学习的手部关键点检测方法会因手部的姿态、尺度多变而出现大量误检，与此同时，也因为网络模型用于关键点检测的热力图是多次下采样之后得到的，分辨率不够高，缺失部分位置细节信息，导致关键点定位不准，存在偏差。因此，急需提出一种提升检测精度、减弱模型尺度敏感性的神经网络构建方法，获取更高分辨率的关键点预测热力图，提升定位精度，并且让特征学习到更多尺度的信息，增强模型的尺度不变性。

发明内容

针对上述问题，本发明的目的在于提供一种手部关键点检测方法，包括以下步骤：

S1获取手部的图像，搭建的手部关键点检测网络模型；

S2标注S1中手部的图像，生成真实热力图标签；

S3处理后的手部图像数据输入到搭建的手部关键点检测网络模型中进行训练，利用损失函数计算预测结果和真实值之间的损失值，然后用优化器进行优化，迭代到损失值收敛；将预测热力图中概率值最大的点作为关键点，绘制检测可视化图；

S1中搭建的手部关键点检测网络模型中使用最大值反池化层来提高特征图的分辨率。

进一步，S2标注S1中手部的图像，生成真实热力图标签包括将手部图像按比例分成训练集和测试集，并根据样本的关键点标注信息，利用二维高斯核生成真实热力图标签。

进一步，S2中利用二维高斯核生成真实热力图标签，其中二维高斯核公式如下：

其中，(x，y)为关键点的位置坐标，σ参数为标准差。

进一步，所述S1中搭建的手部关键点检测网络模型，包括：从前至后将卷积层、批归一化层、修正线性单元按设计的残差结构封装成瓶颈卷积模块；从前至后将卷积层、批归一化层、修正线性单元层按一定规则堆叠构成基础卷积模块；从前至后将基础卷积模块、卷积层、批归一化层、上采样层、修正线性单元层预先设计的结构依次堆叠构成高分辨率特征金字塔；从前至后将卷积层、批归一化层、修正线性单元层、瓶颈卷积模块、高分辨率特征金字塔、特征拼接层预先设定的组合方式依次搭建，完成网络模型的主干网络部分。