[发明专利]一种基于人眼动作特征的专注度分级方法及系统

权利要求书

1.一种基于人眼动作特征的专注度分级方法，其特征在于，包括以下步骤：

录制用户在观看网课时的视频，得到待测视频数据；

根据待测视频数据提取用户的左眼视频数据、右眼视频数据、眨眼时长和眨眼频次，得到用户眼部动作特征；

将用户眼部动作特征输入到预训练的分类网络，得到用户专注状态的眨眼次数和用户非专注状态的眨眼次数；

根据用户专注状态的眨眼次数与用户非专注状态的眨眼次数的比值，判断用户的专注度等级。

2.根据权利要求1所述一种基于人眼动作特征的专注度分级方法，其特征在于，所述根据待测视频数据提取用户的左眼视频数据、右眼视频数据、眨眼时长和眨眼频次，得到用户眼部动作特征这一步骤，其具体包括：

基于人脸配准算法对待测视频数据进行眼部特征点定位找到人眼位置，得到待测视频中的左眼视频数据和右眼视频数据；

根据眼部特征点计算人眼横纵比值；

根据人眼横纵比值判断用户的眨眼动作，并计算得到用户视频中的眨眼时长和眨眼频次；

整合左眼视频数据、右眼视频数据、眨眼时长和眨眼频次，得到用户眼部动作特征。

3.根据权利要求2所述一种基于人眼动作特征的专注度分级方法，其特征在于，所述人脸配准算法包括68个特征点，所述人眼横纵比值的计算公式如下：

上式中，EAR表示人眼横纵比值，h₁表示左眼高度，定义为特征点37与特征点41之间的欧氏距离和特征点38与特征点40之间的欧式距离的平均值，l₁表示左眼宽度，定义为特征点36与特征点39之间的欧式距离，h₂表示右眼高度，定义为特征点43与特征点47之间的欧氏距离和特征点44与特征点46之间的欧式距离的平均值，l₂表示右眼宽度，定义为特征点42与特征点45之间的欧氏距离。

4.根据权利要求3所述一种基于人眼动作特征的专注度分级方法，其特征在于，所述根据人眼横纵比值判断用户的眨眼动作，并计算得到用户视频中的眨眼时长和眨眼频次这一步骤，其具体包括：

计算用户视频所有帧的人眼横纵比值；

对人眼横纵比值进行平滑滤波并对平滑滤波后的人眼横纵比值取局部最小值；

基于动态阈值方式设定人眼横纵比阈值；

将局部最小值与人眼横纵比阈值进行比较，判定眨眼动作，得到眨眼过程和眨眼次数；

以单次眨眼过程的开始帧到结束帧之间的帧数作为眨眼时长；

基于用户视频的眨眼次数并除以用户视频的时长，得到眨眼频次。

5.根据权利要求4所述一种基于人眼动作特征的专注度分级方法，其特征在于，所述基于动态阈值方式设定人眼横纵比阈值这一步骤，其具体包括：

取时间段内每一帧人眼横纵比值进行从大到小的排序，取前10000个值的平均值作为最大人眼横纵比，取该时间段后5000个人眼横纵比值的平均值作为最小人眼横纵比；

最大人眼横纵比与最小人眼横纵比作差，得到该时间段内的人眼横纵比范围值；

将最小人眼横纵比与人眼横纵比范围值的10％相加，得到该时间段的人眼横纵比阈值。

6.根据权利要求5所述一种基于人眼动作特征的专注度分级方法，其特征在于，所述将局部最小值与人眼横纵比阈值进行比较，判定眨眼动作，得到眨眼过程和眨眼次数这一步骤，其具体包括：

判断到局部最小值小于人眼横纵比阈值，该局部最小值对应的视频帧为闭眼状态视频帧；

判断到局部最小值不小于人眼横纵比阈值，该局部最小值对应的视频帧为睁眼状态视频帧；

以闭眼状态视频帧为中心向前拓展4帧、向后拓展5帧，记录10帧眨眼视频片段并分割为左眼眨眼视频样本及右眼眨眼视频样本；

将睁眼状态视频帧变为闭眼状态视频帧再到睁眼状态视频帧的过程定为眨眼过程；

根据用户视频内眨眼过程的次数确定眨眼次数。