[发明专利]一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法和系统

权利要求书

1.一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，包括：将实时获取的睡眠行为监控画面预处理后输入训练好的神经网络模型中，训练好的神经网络模型对被检测者进行睡眠行为识别，判断其在睡眠期间的行为，包括翻身、起夜、看手机、坠床、正常睡眠。

2.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，神经网络模型包括依次连接的6个由双路伪3D卷积网络与注意力机制即SE模块结合的结构、最大池化层、全连接层、softmax函数层；

双路伪3D卷积网络与注意力机制结合的结构包括两路，一路包括依次连接的3×1×1时间域卷积层、SE模块、1×3×3空间域卷积层，另一路包括依次连接的1×3×3空间域卷积层、3×1×1时间域卷积层、SE模块，并通过加和操作融合两路所提取的不同特征图；

双路伪3D卷积网络与注意力机制结合的结构还包括残差单元，残差单元以跳层连接的方式将由双路伪3D卷积网络与注意力机制结合的结构的输入与输出直接相连。

3.根据权利要求2所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，残差单元中，计算公式如式(I)所示：

x_t+1＝h(x_t)+F(x_t) (I)

式(I)中，x_t表示残差单元的输入，x_t+1表示残差单元的输出；h(x_t)＝x_t表示恒等映射关系；F是非线性残差函数。

4.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，注意力机制中进行压缩操作和激发操作；压缩操作通过一个全局平均池化层将输入图像空间维度进行压缩，将每个二维的特征通道变为一个实数；激发操作则是通过两个全连接层组成一个瓶颈结构来建模特征通道间的相关性，并输出和输入同样数目的权重，最后将输出的权重与原输入相乘，得到带有通道权重的特征图。

5.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，神经网络模型的训练过程如下：

步骤一：数据采集与预处理：采集被检测人员的睡眠视频，并划分为片段，对带有翻身、起夜、看手机、正常睡眠、坠床动作的片段进行分帧、标注，将连续的图像帧输入神经网络模型进行监督训练；

步骤二：步骤一获取的训练集中的数据输入神经网络模型进行监督训练，获取训练好的神经网络模型，具体实现过程如下：

将步骤一获取的连续的图像帧即数据集划分为训练集和测试集；

采用多周期后向传播算法实现神经网络模型的网络参数的迭代调整，逐步收敛到局部最优值；

在每个训练周期中，将训练集中所有的样本划归为S个集合，每个集合包含相同的样本数，在第一个训练周期中，神经网络模型中的每个网络参数均独立地初始化为0-1之间的随机值；

按照前向传播算法计算每个样本所产生的输出值，并与标签值相比计算损失函数值，计算该样本集合中所有损失函数值的平均值，采用后向传播算法调整网络参数；

进行多个周期的训练后，当损失函数值不能进一步降低时，采用测试集测试神经网络模型对睡眠行为检测的准确率；如果准确率不满足实际需求，则调整训练过程中的超参数，包括学习率、正则化参数等，进一步进行多周期训练，并采用训练集检验不同超参数对神经网络模型检测准确率的效果。

6.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，若检测到有翻身、起夜、看手机的行为，则记录对应的行为、发生时间及持续时间，若检测到有坠床行为，在做好记录的同时发出警报；

当前视频片段分析完成后，丢弃前T帧，继续按每N帧取1帧的方法截取T帧，组成新的M帧视频片段，继续进行睡眠行为检测。