[发明专利]确定人物的视线朝向的方法、装置、电子设备和存储介质

权利要求书

1.一种用于确定人物的视线朝向的方法，包括：

根据基于面部图像的多个第一朝向模型，生成分别与所述人物的面部图像相关联的多个面部特征；

基于所述多个面部特征以及所述面部图像的三维深度图像，分别标识所述人物的多个候选面部朝向，所述三维深度图像表示所述人物的面部的三维深度信息；

基于所述多个候选面部朝向，获取所述人物的第一朝向；以及

基于所述第一朝向，确定所述人物的视线朝向。

2.根据权利要求1所述的方法，其中标识所述多个候选面部朝向包括：针对所述多个第一朝向模型中的第一朝向模型，

利用所述三维深度图像监督所述第一朝向模型；以及

基于所述多个面部特征中的与所述第一朝向模型相关联的面部特征和受监督的所述第一朝向模型，标识所述多个候选面部朝向中的与所述第一朝向模型相关联的候选面部朝向。

3.根据权利要求1所述的方法，其中标识所述多个候选面部朝向包括：针对所述多个第一朝向模型中的第一朝向模型，

基于所述多个面部特征中的与所述第一朝向模型相关联的面部特征和所述三维深度图像，生成与所述面部图像相关联的增强面部特征；以及

基于所述增强面部特征和所述第一朝向模型，标识所述多个候选面部朝向中的与所述第一朝向模型相关联的候选面部朝向。

4.根据权利要求1所述的方法，进一步包括：

从所述面部图像中选择包括所述人物的眼部区域的眼部图像；

根据基于眼部图像的第二朝向模型，获得与所述眼部图像相关联的第二朝向；以及

确定所述人物的所述视线朝向进一步包括：基于所述第一朝向和所述第二朝向，确定所述视线朝向。

5.根据权利要求4所述的方法，进一步包括：

基于所述面部图像中的一组关键点，确定所述人物的面部几何特征，所述一组关键点描述所述人物的面部几何信息；以及

利用基于几何信息的第三朝向模型，获得与所述一组关键点相关联的第三朝向。

6.根据权利要求5所述的方法，其中确定所述面部几何特征包括：

根据所述第三朝向模型的多个训练图像，获取与所述多个训练图像相关联的一组关键点均值；以及

基于所述一组关键点与所述一组关键点均值，确定所述人物的面部几何特征。

7.根据权利要求6所述的方法，其中获取所述一组关键点均值包括：

确定与所述多个训练图像相关联的多个朝向；以及

基于所述多个朝向，确定所述一组关键点均值。

8.根据权利要求7所述的方法，其中基于所述多个朝向，确定所述一组关键点均值包括：

针对所述多个朝向中的每个朝向，确定所述多个训练图像中的与每个朝向相关联的各个训练图像中的一组关键点的一组均值；以及

基于确定的所述一组均值，确定所述一组关键点均值。

9.根据权利要求5所述的方法，其中确定所述面部几何特征进一步包括：

基于所述面部图像中的一组关键点生成一组三角形，所述一组三角形的顶点位于分别位于所述一组关键点；以及

基于所述一组三角形的内角，确定所述人物的面部几何特征。

10.根据权利要求9所述的方法，其中生成所述一组三角形包括：

从所述一组关键点位置中选择一组重要关键点；以及

利用德劳内三角化过程，基于所述一组重要关键点生成所述一组三角形。

11.根据权利要求9所述的方法，其中基于所述一组三角形的所述内角，确定所述面部几何特征包括：

根据所述第三朝向模型的多个训练图像，获取与所述多个训练图像相关联的一组内角均值；以及

基于所述一组三角形的所述内角以及所述一组内角均值，确定所述面部几何特征。