[发明专利]基于阵列镜头的学习兴趣测试方法及装置

说明书

技术领域

本发明涉及一种基于阵列镜头的学习兴趣测试方法及装置，属于图像处理及计算机视觉处理技术领域。

背景技术

人脸表情携带着很大的信息量，通过分析人脸表情，进而分析对象的兴趣点所在，具有广泛的应用前景，目前已在互动游戏平台、安全驾驶提醒、远程教育系统、智能交通、辅助医护等方面取得了良好的应用效果。

随着教育改革的推进，中学从过去的语数英物化考试改为了选考，很多初一的家长和学生都希望尽早确定自己的兴趣所在以及适合的科目，借助于人脸表情识别以及人眼关注程度，可以辅助分析出感兴趣的科目，而目前尚没有相关的技术可以实现。

发明内容

鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的学习兴趣测试方法及装置，能够根据识别的人脸表情结合人眼关注程度，辅助确定感兴趣的科目，测试结果较为准确。

为实现上述目的，本发明采用以下技术方案：

一种基于阵列镜头的学习兴趣测试装置，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；

人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置，并统计不同注视位置的注视时间；

人脸表情识别模块，用于识别人脸表情；

关注度检测模块，用于根据人眼注视位置、注视时间及人脸表情，确定关注程度。

所述检测人眼活动轨迹的方法是：

利用红外镜头采集瞳孔具有光斑的人脸图像；

从该人脸图像中提取出人眼区域图像；

从该人眼区域图像中提取瞳孔图像、光斑图像；

确定瞳孔、光斑的中心坐标，

确定瞳孔、光斑的中心坐标与注视点坐标的关系；

根据连续的注视点坐标，得到人眼活动轨迹。

识别人脸表情的方法是：

利用阵列式镜头采集人脸图像；

从人脸图像中识别人脸区域图像；

将人脸区域图像调整为正面人脸姿态的人脸区域图像；

将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。

一种基于阵列镜头的学习兴趣测试方法，包括：

检测人眼活动轨迹，确定人眼注视位置、不同注视位置的注视时间；

识别人脸表情；

根据人眼注视位置、注视时间及相应的人脸表情，确定关注程度。

所述检测人眼活动轨迹的方法是：

利用红外镜头采集瞳孔具有光斑的人脸图像；

从该人脸图像中提取出人眼区域图像；

从该人眼区域图像中提取瞳孔图像、光斑图像；

确定瞳孔、光斑的中心坐标，

确定瞳孔、光斑的中心坐标与注视点坐标的关系；

根据连续的注视点坐标，得到人眼活动轨迹。

从所述人眼区域图像中提取瞳孔图像的方法是：

利用梯度算法确定所述人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。

从所述人眼区域图像中提取光斑图像的方法是：

对所述人眼区域图像进行取反处理，生成取反后的人眼区域图像；利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；以该光斑点为中心，划分一个光斑区域；对该光斑区域依次利用OTSU算法，生成光斑图像。

利用瞳孔-角膜向量反射法，建立所述瞳孔及光斑的中心坐标与注视点的映射关系为，

其中，(X_gaze，Y_gaze)为注视点坐标，

其中，(x_p，y_p)为瞳孔的中心坐标，(x_c，y_c)为光斑的中心坐标，利用重心法确定所述瞳孔、光斑的中心坐标。

所述识别人脸表情的方法是：

利用阵列式镜头采集人脸图像；

从人脸图像中识别人脸区域图像；

将人脸区域图像调整为正面人脸姿态的人脸区域图像；

将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。

所述卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层；

1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充；

2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2；