[发明专利]一种电子课程学习督促方法及系统

权利要求书

1.一种电子课程学习督促方法，其特征在于，包括：

学习者使用账号启动并登陆电子课程学习督促系统，电子课程学习督促系统完成初始化，然后检测登陆账号是否为首次登陆，若该账号首次登陆，将执行人脸注册流程，电子课程学习督促系统将弹出提示窗口，要求学习者面向摄像设备，注视摄像设备，然后通过摄像设备拍摄学习者脸部正面图像，并将该脸部正面图像与账号进行关联，然后启动电子课程播放检测功能，实时对电子课程播放状态进行监测，当检测到电子课程播放，电子课程学习督促系统将启动系统中其余功能；当检测到电子课程结束时，电子课程学习督促系统将自动关闭除了电子课程播放检测功能之外的其功能，从而达到节能的目的；

S1，学习者播放电子课程开始学习后，系统开始检测学习者脸部是否位于屏幕前，使用摄像设备拍摄显示电子课程的前方，对摄像设备拍摄的图像使用人脸检测算法，检测是否有人脸在摄像设备拍摄的图像中，以此判断学习者脸部是否在屏幕前方，以face表示，若学习者脸部在摄像设备拍摄的图像中，则以1表示（face=1），否则以0表示（face=0）；同时将图像中的人脸图像提取后传输给步骤3）使用；

S2，进一步地，在使用人脸身份识别算法将步骤2）获得的人脸图像与步骤1）中记录的学习者人脸数据进行比对检测，以identify表示，若比对检测结果是两者匹配，则identify= 1，否则identify = 0；

S3，进一步地，对屏幕显示的画面进行检测，判断电子课程窗口图像是否被其他软件窗口图像遮挡，以visible表示，电子课程窗口图像没被遮挡以1表示（visible=1），否则以0表示（visible=0）；

S4，检测播放电子课程的设备的输出的音频是否为电子课程的音频，从而判断学习者是否收听电子课程音频，结果以listen表示，学习者在收听电子课程音频以1表示（listen=1），否则以0表示（listen=0）；

S5，进一步地，当学习者脸部出现在显示电子课程的屏幕前方时，学习者有可能并没有看屏幕，而是看其他物体，所以需要确定学习者是在观看屏幕显示的电子课程；首先对步骤2）中得到的脸部图像，使用检测算法对其进行检测，检测脸部朝向，判断脸部是否朝向显示电子课程的屏幕；以towards表示，脸部朝向显示电子课程的屏幕时以1表示（towards=1），否则以0表示（towards=0）；

S6，进一步地，当学习者脸部朝向显示电子课程的屏幕时，学习者可能在注视屏幕中电子课程窗口以外的地方，所以还需要对拍摄到的脸部图像，使用检测算法对脸部图像进行检测，检测眼睛实际注视于显示电子课程的屏幕中的位置，然后结合电子课程窗口位置、宽度、高度信息，判断学习者是否眼睛是在注视电子课程窗口，以see表示，学习者眼睛实际注视电子课程窗口以1表示（see=1），否则以0表示（see=0）；

S7，进一步地，通过脸部图像，使用检测算法对脸部图像进行检疲劳检测，以tired表示，学习者处于疲劳状态以1表示（tired=1），否则以0表示（tired=1）；

S8，进一步地，在电子课程播放的过程中，为防止学习者使用照片或提前录制自己脸部的视频欺骗人脸检测、人脸朝向检测、眼睛注视点检测或疲劳检测，需要对摄像设备拍摄到的学习者脸部图像进行真人检测，检测方法可以采用基于人体动作的检测和人声的检测2类方法，基于人体动作的真人检测可分为：对软件人机交互界面进行指定的操作和不操作人机交互界面，仅人体自身完成指定动作；基于人声的真人检测采用要求学习者说出指定的词或语句；这几种检测方法，举例如下：

a)在屏幕弹出特殊操作要求窗口，要求学习者在通过触摸或是鼠标完成对屏幕内容的特殊操作，特殊操作可以是要求学习者点击屏幕特殊字符或是滑动特殊字符到屏幕中的指定位置或其他操作；然后对触摸屏或是鼠标操作使用算法进行检测，检测学习者是否完成指定在屏幕中的特殊操作；例如手机解锁采用的滑动屏幕界面的控件，或是在屏幕画出指定线条或图形等，或是依次点击指定的字符

b)在屏幕弹出特殊操作要求窗口，要求学习者眨眼睛、做特定手势等肢体动作，然后通过摄像设备拍摄屏幕前方，使用算法对拍摄的画面或视频进行动作检测，检测学习者是否完成指定的肢体动作

c)在屏幕弹出特殊操作要求窗口，要求学习者说出指定的词语或语句，然后通过麦克风采集学习者说出的词语或语句，使用算法对词语或语句进行检测，判断学习者是否说出指定词语或语句

采用a），b），c）中，指定的操作和词语是随机不同的，需要操作的次数和时刻也是随机的，用来防止被预先录制的视频或是语音伪装；

采用上述3种真人检测方法中的一种或多种组合判断学习者是否完成特殊操作，若检测学习者完成特殊操作，则判断摄像设备拍摄的人脸是活体人脸，以motion=1表示，否则以motion=0表示；

将S2~ S8的检测结果汇总，并做逻辑与操作，即，S2~ S8中的任何一个检测结果位0，都判断学习者的专注状态为不专注；学习者的专注状态以concertration表示，以1表示学习者专注状态为专注（concertration=1），以0表示学习者专注状态为不专注（concertration=0），则S2~ S8的检测结果汇总判断如公式（1）：

concentration = face identify visible listen towards see tired motion（1），

以上S2~S8的检测是以一定的周期不断重复检测。