[发明专利]一种眼球驱动方法及电子设备

权利要求书

1.一种眼球驱动方法，其特征在于，所述方法包括：

获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；

通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；

将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；

根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；

根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；

显示驱动后的所述目标对象的眼球。

2.根据权利要求1所述的方法，其特征在于，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标之前，所述方法还包括：

对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；

将所述归一化后的人脸区域转化为频域数据。

3.根据权利要求2所述的方法，其特征在于，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标包括：

通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；

分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；

判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及

判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。

4.根据权利要求3所述的方法，其特征在于，在执行所述确定所述位置坐标的步骤或所述计算所述眼球位置的位置坐标的步骤之后，所述方法还包括：

在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

获取多个人眼训练样本；

生成与所述多个人眼训练样本分别对应的多个精确滤波器；

根据所述多个精确滤波器，生成所述左右眼滤波器。

6.根据权利要求1所述的方法，其特征在于，在所述将所述多个2D关键点坐标转换为对应的多个3D关键点坐标之前，方法还包括：

根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。

7.根据权利要求1或6所述的方法，其特征在于，所述方法还包括：

获取所述目标对象的多个2D关键点坐标和眼球位置的2D坐标；

计算所述目标对象的多个3D关键点坐标和眼球位置的3D坐标。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述根据所述 眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置包括：

分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量；

将所述左右眼的所述相对偏移量分别映射到所述目标对象的左右眼的眼球位置的3D坐标；以及

将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动所述目标对象的眼球位置；

其中，所述眼球的初始位置和所述目标对象的眼球初始位置相对应。