[发明专利]基于神经网络和灵敏度参数的人脸转向识别方法

说明书

本发明公开了一种基于神经网络和灵敏度参数的人脸转向识别方法，包括步骤：对采集到的单帧彩色图像逐一进行第一静态人脸朝向识别，包括将单帧彩色图像进行预处理并提取脸部特征向量，根据脸部特征向量中眼睛和\或鼻子的位置判断单帧彩色图像的人脸朝向是正面、朝左还是朝右；在给定的采集时间内，对采集到的所有单帧彩色图像都进行第一静态人脸朝向识别，得出一个按照时序依次排列的第一人脸朝向结果集和多个脸部特征向量；采用神经网络分类对多个脸部特征向量和第一人脸朝向结果集进行过程分析，识别指令意图，得出人脸转向过程给出的第一指令结果。本发明能在光照很强烈，采集的图像背光很强烈的情况下实现准确地识别面部的转向。

技术领域

本发明涉及移动机器人领域，尤其涉及一种用于机器人的基于神经网络和灵敏度参数的人脸转向识别方法。

背景技术

在复杂室内环境中，如现代实验室、运输物流工厂等，移动机器人常用来替代人员执行简单、危险、重复性的任务，以节省大量的人力资源成本。在流程控制特别繁琐的室内环境中，如在化学实验室中，移动机器人的运用能减少科研人员接触危险品的机会，不仅能够保证实验的准确性，而且能有效地降低事故发生几率。

人机交互是移动机器人智能化的重要组成部分，如今，人类已经从通过触摸式，如鼠标、键盘、按钮等媒介，对机器进行指令发送发展到通过各种传感器(如声音传感器，红外传感器等)的运用给机器下达各种任务指令。微软公司Kinect传感器的出现，使人机交互方式又迈出了一大步，基于Kinect传感器开发的交互界面下，人身体本身就可以成为控制器。譬如，使用双臂完成几种姿势来操控机器人完成任务(如申请号201210267315.3公开了《一种双臂机器人基于Kinect的人机交互方法》和申请号201310327955.3公开了《基于kinect人体骨骼跟踪控制的智能机器人人机交互方法》)，但是这种应用场景范围非常受限。

例如：当机器人面对与双手紧抱重物或手持物品的工作人员进行人机交互，或者机器人面对电梯里挤满不同工作单位的人员时，该如何听从指令；此外，还需要一些与特定的操作任务无关的手势用于改变机器人的操作模式，这些都造成了操作任务的交流不自然。因此需要一种自然的容易被操作人员理解记忆的控制方法。

当然，我们也可以利用语音来进行操作(如申请号201410057451.9公开了《一种基于单人手势和语音信息的机器人人工导航方法》)，但是如果在工厂里或者声音嘈杂的实验室环境下，移动机器人如何正确的接收并分析识别所下达的语音指令也是一个难题。

这些公开的档案中，很多都侧重于或只考虑人的肢体行为，只依赖于Kinect传感器提供的骨骼数据，而忽略了人类社会中另一种重要的交流媒介——人脸，并且Kinect传感器本身拥有廉价而又优越的硬件条件，如深度传感器，红外传感器和普通摄像头可以提供可达到每秒30帧的1080p高清图像，这些高清图像足够可以应付要求达到高识别率的人脸识别技术并且可以构建清晰的人脸三维模型，通过人脸面部与头部行为来对机器人获取控制权和下达指令。

然而，普通的人脸识别大多是基于静态单帧图像处理或者只关注于脸部细微特征变化(如申请号201410848027.6公开了《基于Kinect及人脸识别的疲劳驾驶检测方法》)，虽然可以达到很高的识别准确率，但是不能应用于与移动机器人交互的动态过程中，因为，如果运用脸部表情刻意变化去表征某个指令，对于用户来说不够自然、感到不适并且表情细微的变化特征抖动会影响指令正确识别率。此外，如果只处理单个时间点的数据帧，当机器人捕捉到的人脸本身就是有旋转角度的人脸图像，譬如，机器人首先捕捉到朝右的人脸图像，过了两秒后捕捉到人脸图像又是朝右，是否能判断此人做出的行为一定是头部向右转动？答案是否定的，因为在2秒这段时间内人的头部行为是未知的，这就降低了识别的准确率。