[发明专利]一种基于人脸识别与手势识别的机器人控制方法

说明书

本发明公开了一种基于人脸识别与手势识别的机器人控制方法，包括以下步骤：1)在人脸样本库中录入待识别的人脸图像，通过视频流截取其中的帧进行命名保存；2)使用Lableimg标注工具对采集的图像进行人脸区域标注和检测目标标注，形成人脸自建数据集；3)在手势样本库中录入待识别的手势图像，通过视频流截取其中的帧进行命名保存；4)使用Lableimg标注工具对采集的图像进行手型区域标注，形成手势自建数据集；5)构造多任务深度神经网络模型；6)使用自建数据集对模型进行训练，并通过模型调优得到最终满足要去的多任务深度神经网络模型。本发明能在人员密集的场景下精确的完成对手势的识别和对机器人的控制。

技术领域

本发明涉及计算机视觉，深度学习，属于人机智能交互的技术领域，具体涉及一种基于人脸识别与手势识别的机器人控制方法。

背景技术

手势是人类交换信息的一种基本方式，所以人们通过自然手势进行人机交互是当今火热的发展方向。同时，非接触式的人机交互能在安全性和舒适性方面带来更加良好的体验，计算机视觉系统是进行人机交互最有效的途径之一。手势识别在人机交互、手语识别、虚拟现实等领域有着广泛的应用，在人机交互方面通过手势识别控制轮式机器人移动的方式有着广泛的应用前景。然而由于客观条件的差异，例如光照、人种、拍摄条件、硬件设施设备的差别等诸多因素的影响，通过手势进行实时、有效的人机交互仍然具有很大的挑战(戴建邦,徐小龙,肖甫,孙力娟,董健,王林.一种基于机器视觉的实时手势识别方法及手势识别系统[P].江苏省：CN111950341A,2020-11-17.)。

特别的，通过视觉方式来控制机器人时，如若环境处于多人嘈杂情况下，仅对手势来进行检测具有明显的缺陷。因此，期望提供一种基于特定人脸与手势来共同控制的方法解决该问题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于人脸识别与手势识别的机器人控制方法，该方法构造了一种多任务深度神经网络模型，并使用自建数据集对网络模型进行训练，经测试，该模型能更快速准确地完成机器人的人脸检测与手势识别控制任务。

本发明至少通过如下技术方案之一实现。

一种基于人脸识别与手势识别的机器人控制方法，所述方法包括以下步骤：

(1)在人脸样本库中录入待识别的人脸图像，通过视频流截取其中的帧进行命名保存；

(2)使用Lableimg标注工具对采集的图像进行人脸区域标注和检测目标标注，形成人脸自建数据集；

(3)在手势样本库中录入待识别的手势图像，通过视频流截取其中的帧进行命名保存；

(4)使用Lableimg标注工具对采集的图像进行手型区域标注，形成手势自建数据集；

(5)构造多任务深度神经网络模型；

(6)使用自建数据集对模型进行训练，并通过模型调优得到最终满足要去的多任务深度神经网络模型；

(7)将满足要求的多任务深度神经网络模型部署在机器人上，通过机器人搭载的摄像头完成对人脸的识别与手势的控制。

优选的，所述多任务深度神经网络模型包括多个子网络，完成不同的任务，所述的深度神经网络指网络模型中的所有子网络均含有三个或以上隐藏层，所述的多任务深度神经网络模型采用轻量级、低延时的Darknet-53作为基础网络，进行全局特征的提取，后续分支网络共享所提取的特征。

优选的，所述多任务深度神经网络模型包括全局特征提取基础网络、人脸检测任务分支网络、手势识别任务分支网络三个子网络；人脸检测任务分支与手势识别任务分支两个任务之间是串行关系，人脸检测失败将不会进行手势识别的任务。

优选的，所述全局特征提取基础网络采用Darknet-53作为基础网络，进行全局特征的提取，并通过深度可分离卷积操作减少参数量。