[发明专利]一种基于手部区域预测的深度学习手部检测方法

权利要求书

1.一种基于手部区域预测的深度学习手部检测方法，手部包括左手、右手以及交叠双手，其中左手包括出现物体遮挡时的左手，右手包含出现物体遮挡时的右手，交叠双手是包含双手交叠部分的双手区域同时包括出现物体遮挡时的交叠双手；其特征在于：该检测方法包括：

步骤S101：训练深度卷积网络，使用训练好的深度卷积网络检测复杂背景下视频流第一帧中的手部；

步骤S102：根据第一帧中手部检测结果，结合手部运动惯性，采用跟踪算法预测第二帧中手部区域，并结合相邻帧差法获取手部遮挡以及新出现的手部区域，利用跟踪算法和相邻帧差法所获得的区域构造掩膜，增强图像中感兴趣的区域，形成加入了注意力的帧图片；

步骤S103：将加入了注意力的帧图片输入至训练好的深度卷积网络中检测，得到对应于原图中的复杂背景下的精准的手部类别及区域；

步骤S104：视频流之后的每一帧沿用对第二帧采用的手部检测方法，实现复杂背景下的视频流手部检测；

其中，所述步骤S102包括以下步骤：

（21）利用上一帧中检测的手部区域作为跟踪目标，基于一种光流的多目标跟踪算法多目标中值流跟踪对跟踪目标在下一帧中出现位置进行预测，将预测目标区域在像素平面扩展到富裕倍数；同时结合相邻帧差法获取手部遮挡以及新出现的手部区域；所述预测目标区域由像素平面手部区域中心坐标及长宽来确定，所述富裕倍数是指能够富裕获取手部区域的倍数；

（22）利用跟踪算法和相邻帧差法所获得的区域构造掩膜，增强图像中感兴趣的区域，形成加入了注意力的帧图片。

2.根据权利要求1所述的方法，其特征在于：步骤S101，训练深度卷积网络，使用训练好的该网络检测复杂背景下视频流第一帧中的手部类别及区域，包括以下步骤：

（11）获取包含多种不同场景中复杂背景下的手部视频流数据集，人工标定数据集中的标签，标签包括手部的外接矩阵左上角坐标和右下角坐标以及人工标定的手部类别；并对数据集进行扩充数据处理，扩充数据处理包括旋转、缩放、裁剪；

（12）视频流数据集分为独立的三部分：训练集、验证集和测试集；训练集占视频流总数的50％，验证集和测试集分别占25％，三部分都是从视频流数据集中按视频序列随机抽取；

（13）采用HyperNet网络作为深度卷积网络来实现手部检测，用训练集训练该HyperNet网络的参数模型，验证集控制该HyperNet网络的复杂度；对于训练好的该HyperNet网络，输入为三通道RGB图像，输出为手部类别以及手部外接矩形的左上角坐标和右下角坐标；

（14）使用训练完成的该HyperNet网络，检测测试集中的视频流中第一帧的手部。

3.根据权利要求2所述的方法，其特征在于：所述步骤（12）中，训练集和验证集中每一组视频序列包含原视频序列以及标签和处理后获得的加入了注意力的视频序列以及标签两部分。

4.根据权利要求1所述的方法，其特征在于：所述步骤（21）中，多目标中值流跟踪结合相邻帧差法的具体过程如下：

（211）多目标中值流跟踪算法使用金字塔Lucas-Kanade光流法跟踪，并用正反向误差作为对跟踪的结果反馈；

（212）如果HyperNet网络出现漏检，则使用多目标中值流跟踪算法对漏检帧的预测结果作为此图片的手部检测结果；

（213）相邻帧差法通过对相邻的两帧图像做差分运算以及阈值处理获得运动物体轮廓二值图，将该运动物体轮廓二值图进行膨胀并提取轮廓最大外接矩形，从而获取两帧中发生运动变化的区域；

（214）在多目标中值流跟踪与相邻帧差法的结合过程中，去除了相邻帧差法获得的区域矩形中与多目标中值流跟踪结果重叠的区域矩形。