[发明专利]控制方法、终端和存储介质

权利要求书

1.一种控制方法，其特征在于，所述方法包括：

获得采集图像，所述采集图像为投射的红外光经用户人脸的图像；

基于采集图像，获得所述人脸的深度图像和红外图像；

依据深度图像和红外图像，获得所述用户在显示屏上的注视位置；

依据红外图像，获得所述用户的眼部动作；和/或依据深度图像和红外图像，获得所述用户的头部运动轨迹；其中，所述眼部动作至少包括眼球运动轨迹和眨眼动作；

基于所述眼部动作和/或头部运动轨迹，对显示屏上对应于所述注视位置的对象进行控制。

2.根据权利要求1所述的方法，其特征在于，所述眼部动作包括眼球运动轨迹；

所述依据红外图像，获得所述用户的眼部动作，包括：

在至少两帧采集图像的红外图像中分别获得所述用户的眼球在各自采集图像中的位置；

依据眼部在至少两帧采集图像中的位置确定所述至少两帧采集图像中的眼球运动轨迹。

3.根据权利要求1所述的方法，其特征在于，所述眼部动作包括眨眼动作；

所述依据红外图像，获得所述用户的眼部动作，包括：

在至少两帧采集图像的红外图像中分别获得所述用户的眼部区域图像；

依据眼部区域图像在各自采集图像中的占用比例，确定眨眼动作。

4.根据权利要求1所述的方法，其特征在于，所述依据深度图像和红外图像，获得所述用户的头部运动轨迹，包括：

在至少两帧采集图像的红外图像中分别获取表征所述用户的五官部位中的至少一相同部位的特征点在各自采集图像中的位置；

依据所述位置和深度图像，获得所述至少一相同部位在所述至少两帧采集图像的偏移量；

依据所述偏移量确定所述用户的头部运动轨迹。

5.根据权利要求1所述的方法，其特征在于，所述依据深度图像和红外图像，获得所述用户在显示屏上的注视位置，包括：

依据红外图像，获得所述用户在当前观看姿态下所述用户的虹膜中心注视于显示屏的估计位置；

依据所述深度图像对所述估计位置进行修正，得到所述注视位置。

6.根据权利要求1至5任一项所述的方法，其特征在于，对所述对象的控制至少使得所述显示屏上的至少部分显示内容发生变化。

7.根据权利要求6所述的方法，其特征在于，所述基于采集图像，获得所述人脸的深度图像，包括：

获得所述采集图像的各个像素的相位信息；

基于相位信息获得各个像素的深度信息；

根据深度信息得到所述深度图像。

8.一种终端，其特征在于，包括：

第一获取单元，用于获得采集图像，所述采集图像为投射的红外光经用户人脸的图像；

第二获取单元，用于基于采集图像，获得所述人脸的深度图像和红外图像；

第三获取单元，用于依据深度图像和红外图像，获得所述用户在显示屏上的注视位置；

第四获取单元，用于依据红外图像，获得所述用户的眼部动作；和/或依据深度图像和红外图像，获得所述用户的头部运动轨迹；其中，所述眼部动作至少包括眼球运动轨迹和眨眼动作；

控制单元，用于基于所述眼部动作和/或头部运动轨迹，对显示屏上对应于所述注视位置的对象进行控制。

9.根据权利要求8所述的终端，其特征在于，所述眼部动作包括眼球运动轨迹；

所述第四获取单元，用于在至少两帧采集图像的红外图像中分别获得所述用户的眼球在各自采集图像中的位置；依据眼部在至少两帧采集图像中的位置确定所述至少两帧采集图像中的眼球运动轨迹。

10.根据权利要求8所述的终端，其特征在于，所述眼部动作包括眨眼动作；

所述第四获取单元，用于在至少两帧采集图像的红外图像中分别获得所述用户的眼部区域图像；

依据眼部区域图像在各自采集图像中的占用比例，确定眨眼动作。