[发明专利]一种视线跟踪方法及用于执行所述方法的终端

说明书

本发明公开了一种视线跟踪方法及用于执行所述方法的终端。根据本发明一实施例的终端是一种用于基于累积与视线信息相关的多个学习数据的第一视线跟踪模型来跟踪视线的终端，其包括：数据收集单元，用于使用拍摄设备获取用户的面部图像，并从所述面部图像中提取所述用户的视线信息；数据传输单元，用于将所述用户的视线信息和所述终端屏幕中所述用户的视线指向的地点的位置信息传输给服务器；模型接收单元，用于从所述服务器接收在所述第一视线跟踪模型中学习了所述用户的视线信息和所述位置信息的第二视线跟踪模型；以及视线跟踪单元，用于使用所述第二视线跟踪模型来跟踪所述用户的视线。

技术领域

本发明的实施例涉及一种视线跟踪技术。

背景技术

视线跟踪(Eye Tracking)是通过检测用户的眼球运动来跟踪视线位置的技术，并可以使用影像分析方法、隐形眼镜方法、传感器附接方法等。影像分析方法通过分析实时相机图像来检测瞳孔的移动，并基于角膜上反射的固定位置来计算视线的方向。隐形眼镜方法使用镜子内置的隐形眼镜的反射光或线圈内置的隐形眼镜的磁场等，其便利性低但准确度高。传感器附接方法通过将传感器附接于眼睛周围以使用根据眼睛运动的电场变化来检测眼睛运动，并即使在眼睛闭合(睡眠等)时也可以检测到眼球运动。

近来，视线跟踪技术的应用目标设备和应用领域逐渐扩展，所以当在如智能手机等的终端中提供广告服务时，利用所述视线跟踪技术的尝试正在增加。另外，通过将基于深度学习的人工智能和视线跟踪技术相结合来提供各种服务的应用实例越来越多。

然而，每个用户的眼球运动可以不同，所以每个用户的凝视特定地点的凝视模式也可以略微不同。因此，仅使用统一的视线信息，难以实现针对用户优化的视线跟踪模型，并视线跟踪的准确性也会降低。

发明内容

发明要解决的问题

本发明的实施例旨在通过使用针对用户优化的视线跟踪模型以跟踪该用户的视线来提高视线跟踪的准确度。

用于解决问题的技术方案

根据本发明一实施例的终端是一种用于基于累积与视线信息相关的多个学习数据的第一视线跟踪模型来跟踪视线的终端，其包括：数据收集单元，用于使用拍摄设备获取用户的面部图像，并从所述面部图像中提取所述用户的视线信息；数据传输单元，用于将所述用户的视线信息和所述终端屏幕中所述用户的视线指向的地点的位置信息传输给服务器；模型接收单元，用于从所述服务器接收在所述第一视线跟踪模型中学习了所述用户的视线信息和所述位置信息的第二视线跟踪模型；以及视线跟踪单元，用于使用所述第二视线跟踪模型来跟踪所述用户的视线。

所述第二视线跟踪模型通过以下方式来生成：分别对所述累积的学习数据与所述用户的视线信息及所述位置信息分配预设的彼此不同的权重并进行学习，并将所述分配权重的学习数据与所述用户的视线信息及所述位置信息输入到第一视线跟踪模型。

所述第二视线跟踪模型可以基于每个用户而不同。

应用所述用户的视线信息和所述位置信息的所述第一视线跟踪模型或所述第二视线跟踪模型可以从所述服务器分发到另一终端。

当所述用户凝视设置在所述终端屏幕中的多个地点时，所述数据收集单元可以从在凝视每个地点时拍摄的所述用户的每个面部图像中提取所述用户的视线信息，所述数据传输单元可以将所述用户的视线信息和所述地点的各个位置信息传输给所述服务器。

当从凝视所述屏幕中所述地点的用户接收设定动作的输入时，所述数据收集单元可以判断接收所述动作输入的时间点作为所述用户凝视所述地点的时间点。

接收所述动作输入的时间点可以包括所述用户触摸所述地点的时间点、和当所述用户在显示所述地点处设定的短语时发出语音时的所述语音开始发出的时间点中的至少一个。