[发明专利]一种眼球驱动方法及电子设备

说明书

技术领域

本发明涉及图像处理领域，特别涉及一种眼球驱动方法及电子设备。

背景技术

随着人脸识别在计算机技术中的普及，通过计算机对人脸进行识别的技术已应用在各个领域，在人脸识别中眼睛状态的识别至关重要，通过眼睛状态识别对眼球进行定位，能够实现用户对于通过眼睛识别对游戏中的目标进行控制等需求。

现有技术中的人眼球定位方法主要包括以下几种：基于几何特征的方法，如灰度投影法，霍夫曼变换等，是在眼睛感兴趣区域首先用Canny算子计算人眼边缘轮廓，然后利用霍夫曼变换来进行眼球的定位；基于统计的方法,如利用神经网络或支持向量机的方法，基于知识的方法。

但是现有技术中基于几何特征的方法非常容易受光照的影响，稳定性和精度都不够，而基于统计的方法虽然对光照有一定的适应性，但是需要大量的样本来训练分类器，使得使用该方法应用于移动端实时性较差，同时，基于知识的方法，是采用大量先验知识进行人眼定位，通用性不够。

发明内容

为了提高眼球定位的精确度和稳定性，同时使得该方法能够在移动端高效运行，提高用户体验，满足用户通过眼球转动控制游戏等中的目标对象的需求，本发明实施例提供了一种眼球驱动方法及电子设备。所述技术方案如下：

第一方面，提供了一种眼球驱动方法，所述方法包括：

获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；

通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；

将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；

根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；

根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；

显示驱动后的所述目标对象的眼球。

结合第一方面，在第一种可能的实现方式中，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标之前，所述方法还包括：

对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；

将所述归一化后的人脸区域转化为频域数据。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标包括：

通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；

分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；

判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼 的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及

判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在执行所述确定所述位置坐标的步骤或所述计算所述眼球位置的位置坐标的步骤之后，所述方法还包括：

在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。

结合第一方面至第一方面的第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

获取多个人眼训练样本；

生成与所述多个人眼训练样本分别对应的多个精确滤波器；

根据所述多个精确滤波器，生成所述左右眼滤波器。

结合第一方面，在第五种可能的实现方式中，在将所述多个2D关键点坐标转换为对应的多个3D关键点坐标之前，方法还包括：

根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。

结合第一方面或第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述方法还包括：