[发明专利]用户的睡眠状态检测方法及装置

权利要求书

1.一种用户的睡眠状态检测方法，其特征在于，包括：

获取摄像装置实时拍摄用户人脸得到的视频数据；

分别提取所述视频数据的每一帧图像中所述用户的虹膜特征信息，并根据提取到的虹膜特征信息进行人眼检测得到人眼位置信息；

根据各个所述图像对应的人眼位置信息从所述图像内确定人眼区域图像；

分别提取各个所述人眼区域图像的人眼轮廓信息，得到若干人眼关键点的坐标数据；所述若干人眼关键点用于表示所述人眼区域图像中上眼睑和下眼睑与虹膜中心之间的位置关系；

根据所有所述图像对应的若干人眼关键点的所述坐标数据，对所述用户的睡眠状态进行检测得到睡眠状态检测结果，以根据所述睡眠状态检测结果设置桌面机器人的运行状态。

2.如权利要求1所述的用户的睡眠状态检测方法，其特征在于，所述分别提取所述视频数据的每一帧图像中所述用户的虹膜特征信息，并根据提取到的虹膜特征信息进行人眼检测得到人眼位置信息，包括：

将所述图像输入虹膜检测模型包含的若干可分离卷积模块提取所述用户的多尺度虹膜特征，并通过所述虹膜检测模型包含的若干特征金字塔模块结合所述多尺度虹膜特征生成虹膜特征信息；

将所述虹膜特征信息导入所述虹膜检测模型包含的若干多尺度预测模块对所述图像进行人眼检测，得到人眼位置信息。

3.如权利要求1所述的用户的睡眠状态检测方法，其特征在于，所述根据各个所述图像对应的人眼位置信息从所述图像内确定人眼区域图像和所述分别提取各个所述人眼区域图像的人眼轮廓信息，得到若干人眼关键点的坐标数据，包括：

分别将各个所述图像对应的所述人眼位置信息导入至人眼轮廓检测模型包含的若干可分离卷积层，从所述图像内确定人眼区域图像并对所述人眼区域图像进行人眼轮廓信息提取，得到轮廓特征信息；

将所述轮廓特征信息输入至所述人眼轮廓检测模型包含的若干全连接层，得到所述若干人眼关键点的坐标数据。

4.如权利要求1所述的用户的睡眠状态检测方法，其特征在于，所述根据所有所述图像对应的若干人眼关键点的所述坐标数据，对所述用户的睡眠状态进行检测得到睡眠状态检测结果，以根据所述睡眠状态检测结果设置桌面机器人的运行状态，包括：

根据所述每一帧图像对应的若干人眼关键点坐标数据确定以所述虹膜中心为顶点时所述上眼睑与所述下眼睑的闭合角度；

若所述闭合角度小于预设阈值，则所述睡眠状态检测结果为睡眠状态；

若所述闭合角度等于或大于所述预设阈值，则所述睡眠状态检测结果为清醒状态。

5.如权利要求4所述的用户的睡眠状态检测方法，其特征在于，所述根据所有所述图像对应的若干人眼关键点的所述坐标数据，对所述用户的睡眠状态进行检测得到睡眠状态检测结果，以根据所述睡眠状态检测结果设置桌面机器人的运行状态，还包括：

根据所述每一帧图像对应的若干人眼关键点坐标数据对用户的睡眠状态进行检测得到睡眠状态检测结果；

若在所述视频数据中存在连续十帧图像中N帧图像对应的睡眠状态检测结果为所述睡眠状态，则控制所述桌面机器人进入待机或关机状态；其中，N为预设帧数阈值。

6.如权利要求1至5任一项所述的用户的睡眠状态检测方法，其特征在于，所述人眼位置信息包括在所述图像中限定所述人眼区域图像范围的两个坐标向量。

7.如权利要求1至5任一项所述的用户的睡眠状态检测方法，其特征在于，在所述获取摄像装置实时拍摄用户人脸得到的视频数据之前，还包括：

根据第一训练数据对所述虹膜检测模型进行人眼检测训练；所述第一训练数据包括标注有所述人眼位置信息的人脸图像样本数据集。

8.如权利要求7所述的用户的睡眠状态检测方法，其特征在于，在所述获取摄像装置实时拍摄用户人脸得到的视频数据之前，还包括：

根据第二训练数据对所述人眼轮廓检测模型进行人眼轮廓信息提取训练；所述第二训练数据包括根据预设标注规则标注有所述若干人眼关键点的人眼图像样本数据集。