[发明专利]基于多感官交互体验和学习注意力评估的教育方法

权利要求书

1.一种基于多感官交互体验和学习注意力评估的教育方法，其特征在于，包括以下步骤：

S1：采集学生的图像，获取人脸区域并对所述人脸区域进行预处理；

S2：将步骤S1的输出结果进行归一化处理后输入卷积神经网络进行人脸姿态检测，并判断学生人脸是否正对显示器，若是，则进行人眼注视方向计算；若否，则进行步骤S4；

S3：当检测人眼正视显示器的时间和频率在预设范围时，则继续普通教育模式；否则，则开启多感官交互体验教育模式；

S4：获取学生面部正视和视线正视显示器时的帧率，根据学生面部正视和视线正视显示器时的帧率计算学生注意程度；

根据学生面部正视和视线正视显示器时的帧率计算学生注意程度所采用的计算公式为：

P＝α1f_a+α2f_s,α1+α2＝1

其中，P为注意力程度，α1,α2为权重，根据实验结果选取权重值；f_a，f_s分别对应面部正视和视线正视时的帧率；其中N_t为一定时间内总的帧数；N_a,N_s分别代表一定时间内正视显示器和视线落在显示器范围内的总帧数。

2.根据权利要求1所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，步骤S1具体包括：

S11：利用摄像头获取学生的图像并对采集到的所述图像进行人脸识别获取人脸区域；

S12：对所述人脸区域进行灰度化处理，然后采用插值法将图像调整为96×96大小的图像。

3.根据权利要求1所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，所述卷积神经网络包括3层卷积层、3层池化层、2层全连接层和输出层；经回归处理后的图像首先进行卷积操作和最大值池化操作，然后再进行全连接操作和回归操作；所述输出层大小为3x1，分别表示头部姿势俯仰、偏航和侧倾角。

4.根据权利要求3所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，所述卷积操作所采用的卷积计算公式为：

其中，表示第层的第i个特征映射，f()表示激活函数，是连接第层神经元i和第层神经元j的权重；卷积核由权重所确定；代表第层的第j个偏置值；M_j代表输入映射集合；

最大值池化公式为：

其中，i_max,j_max代表对应的pool核区域最大的那个元素的索引。

5.根据权利要求4所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，在每进行一次卷积操作和最大值池化操时随机丢弃部分特征检测器。

6.根据权利要求1所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，当判断得出学生人脸是正对显示器时，则采用瞳孔角膜反射法计算人眼注视方向并同时计算人眼正视显示器的时间和频率。

7.根据权利要求6所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，判断学生人脸是否正对显示器的判断方法为：

pitch∈[p_min,p_max]，

yaw∈[y_min,y_max]

其中，p_min,p_max分别为人脸面对显示器时对应俯仰角pitch的最小值和最大值；y_min,y_max分别为对应的偏航角yaw最小值和最大值。