[发明专利]眼睛跟踪方法和眼睛跟踪设备

说明书

公开了眼睛跟踪方法和眼睛跟踪设备。所述眼睛跟踪方法包括：确定输入图像与重构图像之间的差；基于确定的差来选择输入图像、重构图像和替代图像中的一个；以及针对输入图像、重构图像和替代图像中的一个执行眼睛跟踪。

本申请要求于2019年12月10日在韩国知识产权局提交的第10-2019-0163642号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。

技术领域

与示例性实施例一致的方法和设备涉及一种用于基于眼睛重构来跟踪眼睛的方法和设备。

背景技术

平视显示器(HUD)装置通过在驾驶员前方显示虚拟图像来提供有助于驾驶员驾驶的各种驾驶信息。近来，三维(3D)HUD装置正在开发中。例如，3D HUD装置使用增强现实(AR)。在这个示例中，驾驶信息被显示为与实际对象重叠，使得驾驶员可更直观地识别驾驶信息。目前存在各种类型的3D显示器。在那些3D显示器之中，具有相对高分辨率和相对高自由度的眼睛跟踪3D显示器可应用于3D HUD装置。

发明内容

一个或多个示例性实施例可至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，不要求示例性实施例克服上述缺点，并且示例性实施例可以不克服上述任何问题。

根据示例性实施例的一个方面，提供一种眼睛跟踪方法，所述眼睛跟踪方法包括：通过针对输入图像执行眼睛重构来生成重构图像；确定输入图像与重构图像之间的差；通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像；以及基于目标图像执行眼睛跟踪。

眼睛重构可包括降低输入图像中的噪声分量。生成的步骤可包括：使用与输入图像对应的主成分向量中的具有高优先级的部分来生成重构图像，并且主成分向量可各自对应于基于针对各种面部图像的主成分分析而预定的特征脸。

选择的步骤可包括：如果确定的差小于第一阈值，则选择输入图像作为目标图像；如果确定的差大于第一阈值并且小于第二阈值，则选择重构图像作为目标图像；以及如果确定的差大于第二阈值，则选择替代图像作为目标图像。

替代图像可不同于输入图像和重构图像。所述眼睛跟踪方法还可包括：在存储在数据库中的样本图像之中，选择与输入图像具有最高相似度的样本图像作为替代图像。相似度可基于输入图像的特征点与所述样本图像中的每个样本图像的特征点之间的比较来确定。输入图像的特征点和所述样本图像中的每个样本图像的特征点可各自从除了眼睛之外的区域被提取。所述样本图像可对应于先前已成功进行眼睛跟踪的图像。所述眼睛跟踪方法还可包括：如果眼睛跟踪基于输入图像或重构图像而成功，则将输入图像作为样本图像存储在数据库中。

如果眼睛检测针对输入图像而成功，则可执行生成的步骤。如果替代图像被选择为目标图像，则执行的步骤可包括：基于映射到替代图像的眼睛位置信息来执行眼睛跟踪。

根据示例性实施例的一个方面，提供一种电子装置，所述电子装置包括：处理器；存储器，被配置为存储可由处理器执行的指令；以及相机，被配置为通过拍摄用户来生成输入图像，其中，当所述指令被处理器执行时，处理器可被配置为：通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，以及基于目标图像执行眼睛跟踪。

根据示例性实施例的一个方面，提供一种眼睛跟踪设备，所述眼睛跟踪设备包括：处理器；以及存储器，被配置为存储可由处理器执行的指令，其中，当所述指令被处理器执行时，处理器可被配置为：通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，以及基于目标图像执行眼睛跟踪。

附图说明

通过参照附图描述特定的示例性实施例，以上和/或其他方面将更清楚，其中：