[发明专利]一种学习状态的判断方法、装置及智能机器人

权利要求书

1.一种学习状态的判断方法，其特征在于，包括：

从用户的上课视频中获取帧图像；

识别所述用户在所述帧图像中的表情，所述表情包括高兴、疑惑、疲惫和中性；

结合所述表情，识别所述帧图像中所述用户的学习状态，所述学习状态包括专注状态和走神状态；

所述结合所述表情，识别所述帧图像中所述用户的学习状态的步骤，具体包括：

判断所述表情是否为疲惫；

若否，则获取预先存储的所述用户与所述表情对应的专注基准图片和走神基准图片；

将所述帧图像与所述专注基准图片进行比对，得到第一匹配度；

判断所述第一匹配度是否大于或者等于第一预设阈值；

若大于或者等于所述第一预设阈值，则将所述帧图像标记为专注状态图像；

若小于所述第一预设阈值，则将所述帧图像与所述走神基准图片进行比对，得到第二匹配度；

判断所述第二匹配度是否大于或者等于第二预设阈值；

若大于或者等于所述第二预设阈值，则将所述帧图像标记为走神状态图像；

若所述表情是疲惫时，则检测所述用户的心率；

判断所述心率是否大于或者等于第三预设阈值；

若大于或者等于所述第三预设阈值，则将所述帧图像标记为专注状态图像；

若小于所述第三预设阈值，则将所述帧图像标记为走神状态图像。

2.根据权利要求1所述的方法，其特征在于，所述结合所述表情，识别所述帧图像中所述用户的学习状态的步骤，具体包括：

从所述帧图像提取各脸部器官的几何特征；

根据各所述脸部器官的几何特征，并且结合预设分类算法模型，确定所述用户的学习状态是处于专注状态还是走神状态。

3.根据权利要求1至2中任一项所述的方法，其特征在于，

所述方法在步骤结合所述表情，识别所述帧图像中所述用户的学习状态之后还包括：根据所述用户的学习状态，确定所述用户的专注时间。

4.根据权利要求3所述的方法，其特征在于，所述根据所述用户的学习状态，确定所述用户的专注时间步骤，具体包括：

获取所述专注状态图像的录取时间；

将所述专注状态图像的录取时间进行统计，得到所述用户专注时间。

5.一种学习状态判断装置，其特征在于，包括：

获取模块，用于从用户的上课视频中获取帧图像；

第一识别模块，用于识别所述用户在所述帧图像中的表情；

第二识别模块，用于结合所述表情，识别所述帧图像中所述用户的学习状态；

所述第二识别模块还用于判断所述表情是否为疲惫；

若否，则获取预先存储的所述用户与所述表情对应的专注基准图片和走神基准图片；

将所述帧图像与所述专注基准图片进行比对，得到第一匹配度；

判断所述第一匹配度是否大于或者等于第一预设阈值；

若大于或者等于所述第一预设阈值，则将所述帧图像标记为专注状态图像；

若小于所述第一预设阈值，则将所述帧图像与所述走神基准图片进行比对，得到第二匹配度；

判断所述第二匹配度是否大于或者等于第二预设阈值；

若大于或者等于所述第二预设阈值，则将所述帧图像标记为走神状态图像；

所述第二识别模块还用于当所述表情为疲惫时，则检测所述用户的心率；

判断所述心率是否大于或者等于第三预设阈值；

若大于或者等于所述第三预设阈值，则将所述帧图像标记为专注状态图像；

若小于所述第三预设阈值，则将所述帧图像标记为走神状态图像。

6.根据权利要求5所述的学习状态判断装置，其特征在于，还包括：

确定模块，用于根据所述用户的学习状态，确定所述用户的专注时间。

7.一种智能机器人，其特征在于，包括：

图像采集模块，用于采集用户在上课时的上课视频；

至少一个处理器，与所述图像采集模块连接；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4任意一项所述的方法。