[发明专利]注视区域检测及神经网络的训练方法、装置和设备

权利要求书

1.一种注视区域检测用神经网络的训练方法，其特征在于，所述方法包括：

至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；

经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；

确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；

基于所述差异调整所述神经网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，

所述至少将作为训练样本的人脸图像输入神经网络之前，所述方法还包括：裁剪所述人脸图像中的至少一眼睛区域，得到至少一眼睛图像；

所述至少将作为训练样本的人脸图像输入神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络。

3.根据权利要求2所述的方法，其特征在于，

所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像中的各图像调整到相同的预定尺寸；将调整尺寸后的各图像同时输入所述神经网络；

所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经所述神经网络同时提取输入的所述各图像的特征；根据提取的特征确定所述人脸图像的注视区域类别预测信息。

4.根据权利要求2所述的方法，其特征在于，

所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述至少一眼睛图像对应输入所述神经网络包括的不同的特征提取分支，其中，输入到所述神经网络中的人脸图像和眼睛图像的尺寸不同；

所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经各所述特征提取分支分别提取输入各特征提取分支的人脸图像或眼睛图像的特征；融合各特征提取分支提取的人脸图像的特征和眼睛图像的特征，得到融合特征；根据所述融合特征确定所述人脸图像的注视区域类别预测信息。

5.一种注视区域检测方法，其特征在于，所述方法包括：

截取在指定空间区域内采集到的图像中的人脸区域，得到人脸图像；

将所述人脸图像输入神经网络，其中，所述神经网络预先采用包括有注视区域类别标注信息的人脸图像集训练完成，标注的注视区域类别属于预先对所述指定空间区域划分得到的多类定义注视区域之一；

经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像对应的注视区域检测类别。

6.一种注视区域检测用神经网络的训练装置，其特征在于，所述装置包括：

样本输入模块，用于至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；

类别预测模块，用于经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；

差异确定模块，用于确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；

网络调整模块，用于基于所述差异调整所述神经网络的网络参数。

7.一种注视区域检测装置，其特征在于，所述装置包括：

图像获取模块，用于截取在指定空间区域内采集到的图像中的人脸区域，得到人脸图像；

图像输入模块，用于将所述人脸图像输入神经网络，其中，所述神经网络预先采用包括有注视区域类别标注信息的人脸图像集训练完成，标注的注视区域类别属于预先对所述指定空间区域划分得到的多类定义注视区域之一；

类别预测模块，用于经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像对应的注视区域检测类别。