[发明专利]确定人物的视线朝向的方法、装置、电子设备和存储介质

说明书

本公开涉及确定人物的视线朝向的方法、装置、电子设备和存储介质。在一种方法中，根据基于面部图像的多个第一朝向模型，生成分别与人物的面部图像相关联的多个面部特征。基于多个面部特征以及面部图像的三维深度图像，分别标识人物的多个候选面部朝向，三维深度图像表示人物的面部的三维深度信息。基于多个候选面部朝向，获取人物的第一朝向。基于第一朝向，确定人物的视线朝向。进一步，提供了相应的装置、电子设备和存储介质。利用上述实现方式，可以自动分析采集到的人物的面部图像，确定人物的视线朝向。进一步，可以基于确定的视线朝向来管理人物的行为。

技术领域

本公开的各实现方式涉及图像处理，更具体地，涉及确定人物的视线朝向的方法、装置、电子设备和存储介质。

背景技术

随着计算机技术和网络技术的发展，目前已经开发出了支持监视和管理功能的多种应用。例如，在车辆服务的应用中，可以基于司机的图像来确定司机是否目视前方并且专心驾驶；在教学应用中，可以基于学生的图像来确定学生是否专心听讲，等等。目前已经可以基于人物的面部图像来确定人物的视线朝向，然而，确定过程的性能和准确性并不令人满意。此时如何以更为有效的方式处理面部图像，进而以更为准确的方式确定人物的视线朝向，成为一个研究热点。

发明内容

期望能够开发并实现一种以更为有效的方式来确定人物的视线朝向的技术方案。期望该技术方案能够与现有应用的监视和管理功能相兼容，以更为有效的方式来确定人物的视线朝向，进而管理人物的行为。

根据本公开的第一方面，提供了一种用于确定人物的视线朝向的方法。在该方法中，根据基于面部图像的多个第一朝向模型，生成分别与人物的面部图像相关联的多个面部特征。基于多个面部特征以及面部图像的三维深度图像，分别标识人物的多个候选面部朝向，三维深度图像表示人物的面部的三维深度信息。基于多个候选面部朝向，获取人物的第一朝向。基于第一朝向，确定人物的视线朝向。

根据本公开的第二方面，提供了一种用于确定人物的视线朝向的装置。该装置包括：生成模块，根据基于面部图像的多个第一朝向模型，生成分别与人物的面部图像相关联的多个面部特征；标识模块，配置用于基于多个面部特征以及面部图像的三维深度图像，分别标识人物的多个候选面部朝向，三维深度图像表示人物的面部的三维深度信息；获取基于多个候选面部朝向，获取人物的第一朝向；以及确定基于第一朝向，确定人物的视线朝向。

根据本公开的第三方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。

附图说明

结合附图并参考以下详细说明，本公开各实现方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本公开的若干实现方式。在附图中：

图1示意性示出了其中可以使用根据本公开的示例性实现方式的车辆环境的框图；

图2示意性示出了根据本公开的示例性实现方式的用于确定人物的视线朝向的过程的框图；

图3示意性示出了根据本公开的示例性实现方式的用于确定人物的视线朝向的方法的流程图；

图4示意性示出了根据本公开的另一示例性实现方式的用于确定人物的视线朝向的过程的框图；

图5示意性示出了根据本公开的又一示例性实现方式的用于确定人物的视线朝向的过程的框图；

图6A、图6B和图6C分别示意性示出了根据本公开的示例性实现方式的面部几何特征的数据结构的框图；