[发明专利]一种基于单目摄像头的人脸跟随方法及其装置

说明书

本发明公开了一种基于单目摄像头的实时人脸跟随方法，包括：步骤100，利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本；步骤200，在第一帧图像中的正样本区域标记人脸跟随框；步骤300，在第n帧图像中，以第n‑1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；步骤400，检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；步骤500，采用梯度算法比对所述第n帧人脸跟随框的中心坐标与所述第n‑1帧图像中的人脸跟随框的中心点坐标，并计算单目摄像头在跟随过程中的预估转动角度，从而实时跟踪人脸。

技术领域

本发明涉及图像处理领域，特别是涉及一种基于单目摄像头的机器人头部跟随人脸的方法。

背景技术

机器人人脸跟随方法包含人脸检测跟随和机器人头部运动的控制两个部分。本发明中机器人头部可以做类似云台的左右和上下运动，故所述的跟随运动主要是机器人头部在水平和竖直方向上的运动。要保证机器人能实时跟随人脸运动，首先机器人应能在其视野范围实时检测到人脸。因此人脸跟随算法的实时性直接影响了整个人脸跟随算法的实时性，但这类算法往往受限于计算机硬件和操作系统的配置；有些算法在个人电脑上运行可以达到实时，但在arm系统上运行性能下降很多。

由于一般安装在机器人上，并用于人脸跟踪的的单目摄像头视野范围较小，并且无法估计准确的深度信息，给机器人头部转动角度的精确估计带来很大挑战；如果不能精准地控制机器人头部的跟随转动，会导致用户走出机器人的视野范围从而丢失目标。

另一方面人脸的运动不是简单的匀速运动，机器人头部跟随人脸运动时也存在滞后，再加上预估机器人头部转动角度时存在误差，这些因素容易导致机器人头部转动不连续，容易出现来回摆动无法停止的现象。情况严重时目标丢失后机器人头部会盲动；因此单纯预估机器人的转动角度不做额外处理是不能解决这些问题的。

此外，还必须考虑到人脸检测异常(即未检测到人脸)的情况。此时因得不到人脸框的确切坐标，将无法估计机器人头部转动的角度，机器人得不到准确的转动角度，会出现不动或盲动的情况。

发明内容

基于上述内容，本发明针对人脸识别跟随模块在arm系统上运算性能较低的问题，提供了一种基于单目摄像头的机器人头部跟随人脸的方法，来保证后续人脸跟随时的算法的实时性。

一种基于单目摄像头的实时人脸跟随方法，包括：

步骤100，利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，

步骤200，在第一帧图像中的正样本区域标记人脸跟随框；

步骤300，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n 与m均为大于等于2整数；

步骤400，检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；

步骤500，采用梯度算法比对所述第n帧人脸跟随框的中心坐标与所述第 n-1帧图像中的人脸跟随框的中心点，并计算单目摄像头在跟随过程中的预估转动角度。

优选地，所述梯度算法采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。

优选地，其特征在于，所述第n帧图像上的预估转动角度包括：X轴方向的转动角度与Y轴方向的转动角度

优选地，其特征在于，所述梯度算法所计算的预估转动角度在X轴方向的转动角度为：