[发明专利]图像处理方法、装置、电子设备及可读存储介质

权利要求书

1.一种基于神经网络模型的图像处理方法，其特征在于，包括：

获取用户的脸部图像；

使用神经网络模型，基于所述脸部图像，得到所述用户的视线焦点位置。

2.根据权利要求1所述的方法，其特征在于，所述使用神经网络模型，基于所述脸部图像，得到所述用户的视线焦点位置，包括：

获取位置调整参数；

使用神经网络模型，基于所述脸部图像，得到所述用户的预测视线焦点位置；

基于所述位置调整参数，对预测视线焦点位置进行调整，得到调整后的视线焦点位置。

3.根据权利要求2所述的方法，其特征在于，所述位置调整参数是通过以下方式得到的：

将标定物显示给所述用户，并获取所述用户的当前脸部图像；

使用神经网络模型，基于所述当前脸部图像，得到所述当前脸部图像对应的用户的预测视线焦点位置；

根据所述当前脸部图像对应的用户的预测视线焦点位置，以及所述标定物的位置，确定所述位置调整参数。

4.根据权利要求1所述的方法，其特征在于，所述使用神经网络模型，基于所述脸部图像，得到所述用户的视线焦点位置，包括：

使用神经网络模型，基于所述脸部图像，得到所述用户的预测视线焦点位置；

确定预测视线焦点位置的预测损失；

基于所述预测损失，确定所述预测视线焦点位置的置信度；

若置信度大于设定阈值，则将预测视线焦点位置确定为用户的视线焦点位置；

若置信度不大于设定阈值，则对预测视线焦点位置进行调整，得到调整后的视线焦点位置，或者，将上一帧脸部图像对应的视线焦点位置确定为用户的视线焦点位置。

5.根据权利要求4所述的方法，其特征在于：所述基于所述预测损失，确定所述预测视线焦点位置的置信度，包括：

确定预测损失对于脸部图像的至少两种扰动；

基于每种扰动分别脸部图像进行修正，得到至少两种修正后的图像；

通过神经网络模型，得到每种修正后的图像所对应的预测视线焦点位置；

根据每种修正后的图像所对应的预测视线焦点位置，得到置信度。

6.根据权利要求4所述的方法，其特征在于，所述根据每种修正后的图像所对应的预测视线焦点位置，得到置信度，包括：

根据每种修正后的图像所对应的预测视线焦点位置，确定标准差；

将标准差的倒数作为置信度。

7.根据权利要求5所述的方法，其特征在于，所述确定预测损失对于脸部图像的至少两种扰动，包括以下至少一种：

确定脸部图像对应的初始视线焦点位置相对于至少两个方向上的预测损失；基于各方向上对应的预测损失，确定初始视线焦点位置在各方向上对脸部图像的扰动；

基于至少两种扰动系数，确定初始视线焦点位置对于脸部图像的至少两种扰动。

8.根据权利要求6或7所述的方法，其特征在于，所述使用神经网络模型，基于所述脸部图像，得到所述用户的预测视线焦点位置，包括：

对脸部图像进行裁剪，得到所述脸部图像的全局图像和局部图像；

将全局图像和局部图像输入至神经网络模型中，得到用户的预测视线焦点位置；

所述确定预测损失对于脸部图像的至少两种扰动，包括：

确定预测损失对于全局图像和局部图像中各图像的至少两种扰动；

所述基于每种扰动分别脸部图像进行修正，得到至少两种修正后的图像，包括：

基于全局图像和局部图像中各图像对应的至少两种扰动，分别对相应的各图像进行修正，得到各图像对应的至少两个修正后的图像；

所述通过神经网络模型，得到每种修正后的图像所对应的预测视线焦点位置，包括：

将每组修正后的图像输入至神经网络模型，得到每组修正后的图像对应的预测视线焦点位置，每组修正后的图像包括对脸部图像进行剪裁后的各图像所对应的一个修正后的图像；

所述根据每种修正后的图像所对应的预测视线焦点位置，得到置信度，包括：

基于各组修改后的图像对应的预测视线焦点位置，得到置信度。