[发明专利]一种驾驶环境下手部区域的检测方法

说明书

本发明公开了一种驾驶环境下手部区域的检测方法，包括如下步骤：步骤1)准备数据集，该数据集在真实驾驶环境中通过安装在驾驶室不同位置处的相机设备拍摄驾驶室内景况下获取，并将数据集分为训练图像集和测试图像集，然后对数据集进行数据扩充，之后生成新的手部包围框；步骤2)构建手部检测卷积神经网络结构，采用多尺度架构，利用不同尺度上的特征信息，完成特征提取并融合；步骤3)采用ADAM优化算法端到端训练，从训练图像集中随机采样，当损失函数L稳定后停止训练；步骤4)采用非极大值抑制用来消除冗余的候选框，得到最佳的手部包围框；步骤5)公布检测结果；便于实现对人类手部区域的检测，适用于驾驶室环境下的人手区域标注。

技术领域

本发明属于计算机视觉的目标检测领域，尤其是涉及一种驾驶环境下手部区域的检测方法。

背景技术

人手检测、分类和跟踪已经有多年的研究历史，可以应用在许多领域，如虚拟现实，人机交互环境，驾驶员行为监控等。由于自然图像中手部区域受到较多因素的干扰，如光照变化、遮挡、手形变化、视角变化、手部分辨率低等，到目前为止，自然图像中的手部区域检测远没有达到人类识别的准确性，很多应用场合不得不依赖效率低下的人工检测方式。因此，研究自然环境下人类手部区域的准确检测方法有十分重要的意义。本文目标是从机动车驾驶室环境下的静态图像中检测手部区域，研究一种基于深度学习技术的新方法，可以为诸如驾驶员行为检测等提供技术手段。

在手部检测中利用皮肤颜色信息是很多方法取得较好效果的有效策略。如文献[1][A.Mittal,A.Zisserman,and P.H.S.Torr.Hand detection using multipleproposals.In British Machine Vision Conference,2011]提出一种两段式方法，采用上下文、肤色、滑动窗形状这三个互补的检测器给出手部区域候选框，然后通过分类器给出每个候选框的置信概率。这类方法的缺点是在检测自然图像中的手部区域时，由于复杂照明情况导致的皮肤颜色变化极大地影响其检测性能。采用多模态信息的方法也可以在某些应用中取得较好的结果。如文献[2][E.Ohn-Bar,S.Martin,A.Tawari,andM.M.Trivedi.Head,eye,and hand patterns for driver activity recognition.InICPR,pages 660–665,2014]同时提取RGB图像和深度图像的HOG特征，结合SVM检测手部区域并完成驾驶员行为识别。不过，因为所选择的HOG特征的局限性，该方法对手部区域的检测精度不高。文献[3][X.Zhu,X.Jia,and K.Wong,“Pixel-level hand detection withshapeaware structured forests,”in Processing of Asian Conference on ComputerVision.Springer Press,2014,pp.64–78.]采用形状敏感型结构化森林算法逐个像素检测手部区域，虽然对第一视角下的手部检测有较好效果，但是逐个像素扫描整幅图像的方式过于耗时。通过人体部位分割间接得到手部区域[4][L.Karlinsky,M.Dinerstein,D.Harari,and S.Ullman,“The chains model for detecting parts by theircontext,”in Proceedings of Computer Vision and Pattern Recognition.IEEEPress,2010,pp.25–32.]是另外一种手部区域检测方案，通过把人体分成不同的部位确定手部区域，不过当出现遮挡时，这样的方法很难检测到手部。随着深度学习技术的蓬勃发展，基于卷积神经网络的目标检测取得了很大地进步。如基于候选区域提名的卷积神经网络系列(RCNN，Fast-RCNN，Faster-RCNN，R-FCN),YOLO系列目标检测网络等，虽然它们检测猫、狗、行人、汽车、沙发等物体取得了较好的结果，但是当目标在图像中所占区域相对较小时(例如人手)或有遮挡时，使用这些网络的原始结构检测准确度不高,需要设计更有效的结构。文献[5][Lu Ding,Yong Wang,et al.Multi-scale predictions for robust handdetection and classification,arXiv:1804.08220v1[cs.CV],2018]以提出一种多尺度R-FCN网络结构，包含5个卷积层，从不同尺度给出手部区域候选框，并从中抽取不同层的特征图进行融合，进而得到检测到的手部区域包围框。文献[6][T.Hoang Ngan Le Kha GiaQuach Chenchen Zhu,et al.Robust Hand Detection and Classification in Vehiclesand in the Wild,CVPRW 2018,pp:39-46]也是以R-FCN网络结构为基本框架，采用多尺度方式融合不同层的特征，在候选框中筛选手部区域。文献[7][Xiaoming Deng,Ye Yuan,Yinda Zhang,et al.,Joint Hand Detection and Rotation Estimation by Using CNN,arXiv:1612.02742v1[cs.CV],2016.]设计一种手部区域检测和手部旋向检测的联合网络，通过特征共享完成最后的手部区域检测。