[发明专利]一种基于深度学习的睡前活动识别方法及睡眠检测装置

权利要求书

1.一种基于深度学习的睡前活动识别方法，其特征在于，包括以下步骤：

接收从红外夜视摄像头中截取的每帧源图像，记录每帧源图像对应的系统时间，并对图像进行预处理；

将预处理过后的图像输入到人眼关键点检测模型中，获取人眼关键点及其位置坐标；

基于所述人眼关键点，计算EAR数值；

基于所述EAR数值，判断是否处于睡眠状态，若处于非睡眠状态，则进行以下步骤，若处于睡眠状态，则停止检测，记录入睡时间；

将预处理过后的图像输入到睡前活动识别模型中，经所述睡前活动识别模型计算，输出每帧图像中识别到的活动；

记录从开始到结束，每帧图像中识别到的睡前活动及图像所对应的系统时间；

最后统计所得睡前活动数据，生成完整的每日睡前活动报告。

2.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述红外夜视摄像头获取源图像为灰度图。

3.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述人眼关键点检测模型为dlib人脸检测和特征点检测模块算法。

4.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述基于EAR数值判断是否处于睡眠状态包括：

依据初始EAR数值设定系统阈值；

将每帧图像的EAR数值与系统阈值进行比较，若图像EAR值大于阈值，则判断为睁眼状态，若图像Ear值小于阈值，则判断为闭眼状态；

若闭眼状态图像的连续帧数超过系统设定阈值，则判断为睡眠状态，连续闭眼睁帧数的第一帧对应的系统时间作为入睡时间。

5.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述睡前活动识别模型，是以ResNeXt残差神经网络为模型，经训练获得。

6.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述ResNeXt残差神经网络共有50层，输入为224×224×1的图像；第一层为卷积层，其卷积核大小为7×7，卷积核步长为2；4个残差模块分别有9，12，18和9层卷积层，残差神经网络输出的特征数为2048，最后连接一个全局平均池化层和softmax损失函数层；残差模块的卷积核大小为3×3。

7.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述从开始到结束，开始为系统开始时间，结束为系统检测到睡眠状态为止。

8.根据权利要求1所述的一种基于深度学习的睡前活动识别方法，其特征在于，所述统计所得睡前活动数据，以十分钟为取样时间间隔，取所述时间间隔内识别频率最大的睡眠活动为该时间段的睡前活动，计入睡眠报告。

9.一种睡眠检测装置，其特征在于，包括如下模块：

图像获取模块，用于接收从红外夜视摄像头中截取的每帧源图像，记录每帧源图像对应的系统时间；

人眼关键点检测模块，用于将预处理过后的图像输入到人眼关键点检测模型中，获取人眼关键点及其位置坐标；

EAR数值计算模块，用于计算EAR数值；

睡眠状态判定模块，用于基于所述EAR数值，判断是否处于睡眠状态，若处于非睡眠状态，则进入睡前活动识别模块，若处于睡眠状态，则停止检测；

睡前活动识别模块，用于将预处理过后的图像输入到睡前活动识别模型中，经所述睡前活动识别模型计算，输出每帧图像中识别到的活动；

睡前活动数据统计模块，用于统计所得睡前活动数据；

睡眠报告生成模块，用于生成完整的每日睡前活动报告。