[发明专利]一种眼球追踪方法及相关设备有效
申请号: | 201911050893.X | 申请日: | 2019-10-31 |
公开(公告)号: | CN112748797B | 公开(公告)日: | 2022-08-09 |
发明(设计)人: | 王文东 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06V40/19;G06V40/18;G06T3/40 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 眼球 追踪 方法 相关 设备 | ||
1.一种眼球追踪方法,其特征在于,应用于电子设备,所述方法包括:
获取第一眼睛图像;
当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时,将所述第一眼睛图像输入预先训练的图像超分辨率重建模型,得到第二眼睛图像,其中,所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率;
根据所述第二眼睛图像运行眼球追踪服务以完成预设功能,包括:根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据,将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序,根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能;
所述电子设备包括红外灯,在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序之前,所述方法还包括:
根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛,所述红外灯用于在所述拍摄目标的眼睛上产生亮斑;
通过摄像头拍摄包括亮斑的所述拍摄目标的眼睛,得到N张第四眼睛图像;
根据所述N张第四眼睛图像得到N组校准坐标,所述N组校准坐标数据与所述N张第四眼睛图像一一对应,每组校准坐标数据包括瞳孔坐标和亮斑坐标;
根据所述N组校准坐标数据得到N个校准向量,所述N个校准向量与所述N组校准坐标数据一一对应,每个校准向量由对应的瞳孔坐标和亮斑坐标确定;
根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
2.根据权利要求1所述的方法,其特征在于,所述电子设备包括摄像头,所述获取第一眼睛图像,包括:
当检测到眼球追踪应用程序请求启动时,或者当检测到所述眼球追踪应用程序请求启用预设功能时,或者当检测到所述眼球追踪应用程序请求获取眼球注视位置信息时,启动所述眼球追踪服务;
根据所述眼球追踪服务通过所述摄像头获取所述第一眼睛图像。
3.根据权利要求1所述的方法,其特征在于,所述图像超分辨率重建模型由第一模型和第二模型组成,所述第一模型和所述第二模型采用不同分辨率阶段的眼睛图像训练得到,所述将所述第一眼睛图像输入预先训练的图像超分辨率重建模型,得到第二眼睛图像,包括:
判断所述第一眼睛图像的分辨率是否大于第二预设分辨率阈值;
若所述第一眼睛图像的分辨率大于第二预设分辨率阈值,则将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像;
若所述第一眼睛图像的分辨率不大于第二预设分辨率阈值,则将所述第一眼睛图像输入第二模型中以得到所述第二眼睛图像;
其中,所述第一模型包括第一特征提取网络、第一生成网络和第一判别网络,所述第一生成网络包括第一残差网络层和第一上采样层,所述将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像,包括:
将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层;
将所述第一特征层输入所述第一残差网络层以得到第二特征层;
将所述第二特征层输入所述第一上采样层进行上采样,并对上采样后的第二特征层进行特征提取,获得第三眼睛图像;
将所述第三眼睛图像输入所述第一特征提取网络以得到所述第三眼睛图像的第三特征层;
将所述第一特征层和所述第三特征层输入所述第一判别网络进行比对;
当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率大于二分之一时,将所述第三眼睛图像作为所述第二眼睛图像输出;
当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率不大于二分之一时,返回执行将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911050893.X/1.html,转载请声明来源钻瓜专利网。