[发明专利]使用视线跟踪的用户界面控制

摘要

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于识别用户正在看的方向。在一个方面，一种方法包括：接收图像序列中的图像。所述图像可以描绘用户的面部。可以将针对每个特定面部特征点的模板图像与图像的一个或多个图像部分进行比较。针对特定面部特征点的模板图像可以包括描绘面部特征点的图像序列中的先前图像的一部分。基于比较，识别与针对特定面部特征点的模板图像匹配的图像的匹配图像部分。在图像中识别匹配图像部分的位置。基于每个模板图像的所识别的位置来确定用户正在看的方向。

主权项

1.一种由数据处理装置执行的方法，所述方法包括：接收图像序列中的第一图像，所述第一图像被确定为至少描绘用户的面部；响应于确定所述第一图像描绘所述面部，将形状模型拟合到所述面部，所述拟合包括：针对所述面部，识别包括一个或多个面部特征点的形状模型；以及通过将所述形状模型中的所述面部特征点中的每一个面部特征点的位置调整至与所述第一图像中的所述面部的对应的面部特征点重叠，来将所述形状模型拟合到所述第一图像中的所述面部以生成拟合的形状模型；从所述第一图像并且基于所拟合的形状模型，生成针对所述第一图像中的所述面部的每个面部特征点的模板图像，针对所述面部的每个面部特征点的所述模板图像描绘在所述第一图像中的所述面部的该面部特征点的位置处的所述面部的部分，针对每个模板图像的所述面部的部分少于全部面部；针对所述图像序列中的每个后续图像：针对所述面部的每个面部特征点：将针对所述面部的所述面部特征点的所述模板图像与所述后续图像的相应图像部分进行比较，所述后续图像的所述相应图像部分位于所述后续图像中与所述面部的所述面部特征点在先前图像中被识别的位置相同的位置处；以及针对所述面部的至少一个面部特征点，所述面部的所述至少一个面部特征点的所述面部特征点的模板图像与所述相应图像部分不匹配，将针对所述至少一个面部特征点的所述模板图像与所述后续图像的一个或多个附加图像部分相比较直至在针对所述至少一个面部特征点的所述模板图像与所述一个或多个附加图像部分中的一个附加图像部分之间找到匹配为止；以及针对所述后续图像，基于针对所述面部的每个面部特征点的所述后续图像中的匹配图像部分的位置来确定所述用户正在看的方向。