[发明专利]一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法和系统

说明书

本发明涉及一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法和系统，包括：将实时获取的睡眠行为监控画面预处理后输入训练好的神经网络模型中，训练好的神经网络模型对被检测者进行睡眠行为识别，判断其在睡眠期间的行为。本方法采用无感的方式进行视频分析，相对于已有的利用多导睡眠图与传感器检测方法，不需要大量硬件设备支持，避免了对被测者佩戴繁重的设备和物联终端，避免影响被测者的睡眠舒适度。并且，本发明还可以判断其整晚的睡眠状况，同时检测到坠床行为并提供及时的报警，减少危险后果的发生。本发明能够客观精准地研判被测者的睡眠行为，为推断被测者的身体和精神状态提供了一种有效的判断依据。

技术领域

本发明涉及一种基于伪3D与注意力机制的睡眠行为检测方法和系统，属于人工智能、模式识别领域。

背景技术

睡眠与人的身心健康存在着密不可分的关系，拥有充足的睡眠时间和高质量的睡眠状态则是人们保持良好精神状态的必要条件。针对养老院或居家养老、儿童看护、医院或居家疾病康复、抑郁症患者治疗、监所特殊人员监管矫治等应用领域，检测特定人员的睡眠状况能够揭示其身体或心理状态，及时给予针对性的医学治疗和心理辅导，减少身心损害和危险性事件的发生。

早期的睡眠状态检测通常是通过多导睡眠图(PSG)来评估的。PSG是一个庞大且复杂的系统，需要专门的技术人员或者医生进行专业操作，未经培训人员难以操控。对于被检测者来说，PSG需要佩戴大量繁重复杂的装备，降低了睡眠的舒适度。随后，人们发明了利用传感器测量并记录手腕加速度的活动记录仪，虽然利用传感器可以测出翻身次数，并以此来判断有效睡眠的时间，但被测者睡眠时仍需要佩戴终端设备，高昂的实验成本与用户不友好的佩戴体验限制了其应用。最近几年，利用人工神经网络进行人员行为智能分析的诸多方法应运而生，如：循环神经网络RNN、卷积神经网络CNN、残差网络ResNet等被广泛地应用于如打架斗殴、跌倒等人体异常行为检测。

基于3D卷积的视频行为识别方法得到了广泛研究，3D卷积是2D卷积的扩展，将平面空间卷积扩展到立体空时卷积，实现了视频中图像帧的空间特征和连续图像帧之间的时间特征的同步提取，提高了人员动作识别的准确率，但是其计算量大且内存占用量高，对硬件性能要求也很高，在实施过程中面临计算困难的问题。基于3D卷积空时特征的提取思路，学者提出了伪3D卷积，核心思想是将3×3×3的3D卷积拆分为1×3×3的空间域卷积与3×1×1的时间域卷积，在获得与3D卷积相似性能的同时大大降低了计算量。注意力机制是模仿人的视觉特点，当人们观看图片或视频时，总是聚焦关键区域及显著特征的变化，对于背景因素及非关键区域的关注度较低，这提高了人们识别对象的效率和准确率，同时降低了人的精力损耗。将注意力机制应用到人工神经网络中，能够有效地关注关键特征，并为其分配较高的权重，而忽略非关键因素的干扰，提高行为识别的准确率。

发明内容

针对现有技术的不足，本发明提供了一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法和系统。

本发明通过分析被测人员夜晚睡眠时的监控视频，检测翻身、起夜的次数和频率以及看手机时长来判断被测者的睡眠状况，发掘睡眠异常背后的原因，有助于提供有针对性的帮扶措施，同时可以检测出坠床行为并及时报警，给予及时的救助，减少危险性事件的发生。