[发明专利]一种关注区域检测方法、装置、可读存储介质及终端设备

权利要求书

1.一种关注区域检测方法，其特征在于，包括：

获取待检测的目标人脸图像；

计算所述目标人脸图像的头部姿势；

提取所述目标人脸图像中的左眼图像和右眼图像；

分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到所述左眼图像和所述右眼图像中的各个眼部关键点的位置信息；

根据所述头部姿势、所述左眼图像和所述右眼图像确定视线方向；

使用预训练好的全连接神经网络根据所述头部姿势、所述视线方向、所述左眼图像和所述右眼图像中的各个眼部关键点的位置信息确定眼部关注区域；

所述全连接神经网络的训练过程包括：

将预设的屏幕划分为SN个屏幕区域，SN为大于1的整数；

分别构造各个标定样本集，其中，第s个标定样本集中包括F_S个向量样本，每个向量样本均为第s个屏幕区域被关注时的输入信息向量，且每个向量样本对应的标签均为第s个屏幕区域的中心坐标点，1≤s≤SN，F_S为正整数；所述输入信息向量中包括受试者人脸图像的头部姿势、视线方向、左眼图像和右眼图像中的各个眼部关键点的位置信息；

使用各个标定样本集对初始状态的全连接神经网络进行训练，得到所述预训练好的全连接神经网络。

2.根据权利要求1所述的关注区域检测方法，其特征在于，所述使用预训练好的全连接神经网络根据所述头部姿势、所述视线方向、所述左眼图像和所述右眼图像中的各个眼部关键点的位置信息确定眼部关注区域包括：

将所述头部姿势、所述视线方向、所述左眼图像和所述右眼图像中的各个眼部关键点的位置信息构造为输入信息向量；

使用预训练好的全连接神经网络对所述输入信息向量进行处理，得到输出坐标点；

将所述输出坐标点对应的屏幕区域确定为所述眼部关注区域。

3.根据权利要求1所述的关注区域检测方法，其特征在于，所述分别构造各个标定样本集包括：

在所述屏幕的第s个屏幕区域的中心坐标点显示预设的图案；

分别采集各帧样本图像，所述样本图像为受试者关注所述图案时的人脸图像；

分别构造各帧样本图像的输入信息向量；

将各帧样本图像的输入信息向量构造为第s个标定样本集。

4.根据权利要求2所述的关注区域检测方法，其特征在于，在使用预训练好的全连接神经网络对所述输入信息向量进行处理，得到输出坐标点之后，还包括：

获取参考坐标点，所述参考坐标点为 在所述目标人脸图像之前采集的K帧人脸图像对应的输出坐标点，K为正整数；

将所述目标人脸图像对应的输出坐标点和所述参考坐标点构造为第一坐标点集合；

从所述第一坐标点集合中剔除离群点，得到第二坐标点集合；

计算所述第二坐标点集合的均值坐标点，并将所述第二坐标集合的均值坐标点确定为平滑处理后的输出坐标点。

5.根据权利要求1至4中任一项所述的关注区域检测方法，其特征在于，所述计算所述人脸图像的头部姿势包括：

计算所述目标人脸图像的仿射矩阵；

根据所述仿射矩阵计算所述目标人脸图像的旋转矩阵；

根据所述旋转矩阵计算所述头部姿势。

6.根据权利要求1至4中任一项所述的关注区域检测方法，其特征在于，所述提取所述目标人脸图像中的左眼图像和右眼图像包括：

在所述目标人脸图像中进行人脸关键点检测，得到所述目标人脸图像中的各个人脸关键点的位置信息；

根据各个人脸关键点的位置信息确定所述左眼图像在所述目标人脸图像中的第一区域，以及所述右眼图像在所述目标人脸图像中的第二区域；

从所述第一区域中提取所述左眼图像，并从所述第二区域中提取所述右眼图像。