[发明专利]一种基于多源异构数据融合的人体跌倒检测方法

说明书

本发明属于人体跌倒检测领域，提供一种基于多源异构数据融合的人体跌倒检测方法；通过Kinect获取人体的行为深度图像以及骨骼信息，首先，在传感器的选择上摆脱可穿戴传感器的约束；其次，还解决了在特定场景，如浴室、卫生间中无法使用可穿戴传感器，同时也可避免使用普通摄像头进行监测侵犯人体隐私等问题；同时，通过深度学习模型从多源异构数据中提取特征，数据融合方式上引入无键注意融合，避免了数据级融合所产生的数据冗余、计算复杂性；本发明与现有技术相比，显著的提高了跌倒检测的准确率。

技术领域

本发明属于人体跌倒检测领域，具体为一种基于多源异构数据融合的人体跌倒检测方法。

背景技术

随着社会老龄化的发展，跌倒成为老年人中常见的健康问题，跌倒检测成为一个重要的研究方向。跌倒通常被定义为“无意识地向地面或更低的地方移动”，跌倒检测主要是通过各类型传感器监测人体信号进行采集、处理和判定。传感器大体分为可穿戴传感器、环境感知传感器；其中，可穿戴传感器系统中，通常使用加速度计来感知测试者的方位变化、陀螺仪用来探测角动量、或其他类型传感器如气压计、磁力计等，这些可穿戴传感器一般放置在佩戴者胸部、腰部、手腕、大腿等；环境感知系统中，通常使用红外传感器、震动传感器、麦克风阵列、雷达传感器以及摄像头等。但是，可穿戴传感器要求老年人始终佩戴设备并要即时充电，存在一定的不便性；环境感知传感器中采用摄像头传感器的准确性较高，但使用摄像头进行监测侵犯老年人隐私。

目前在跌倒检测中，利用微软Kinect获取三维骨骼数据，通过人体关节质心计算加速度和骨骼数据作为主要的生物力学特征，采用LSTM模型进行跌倒检测；如文献《Elders’fall detection based on biomechanical features using depth camera》中使用的方法可以动态捕捉人体在三维空间中的运动，使研究人员更准确地分析人体姿态，极大提高了人类行为分析的能力；由于使用的是三维骨骼数据而不是原始的图像数据，在分析行为的同时，可以有效地保护用户的隐私。在行为识别中，将三维骨骼、人体部分图像和运动图像历史(MHI)三种模式集成到混合深度学习框架中进行人体行为检测获得了较好的效果，如文献《Human Acti on Recognition Based on Intelegrating Body Pose,PartShape,and Motion》中使用RGB捕捉人体身体姿势、部分形状和身体运动，模型将卷积神经网络(CNNs)、长短时记忆(LST M)和经过微调的预训练体系结构组成一个混合体系，被称为MCLP：多模态CNN+LSTM+VGG16在ImageNet公开数据集当中进行预训练；它们同时提取三种模式中的时空模式，将三个子模型进行决策级融合。决策级融合可以看作是一种集合体的形式，所以每一种方式都完全独立于其它方式，独立获得的结果在最后一步进行融合；由于不同的模态仅在对独立模型的输出最后一步进行融合，模型无法获得模态之间的交互作用，导致跌倒识别率降低。

发明内容

本发明的目的在于针对目前跌倒检测中使用可穿戴传感器在传送信号中存在信号不稳定、数据可能丢失、无法做到实时监测问题，提供一种基于多源异构数据融合的人体跌倒检测方法。本发明利用微软Kinect设备获取深度图像和骨骼数据进行跌倒检测，首先，在传感器的选择上摆脱可穿戴传感器的约束；其次，还解决了在特定场景，如浴室、卫生间中无法使用可穿戴传感器，同时也可避免使用普通摄像头进行监测侵犯人体隐私等问题；最后，对多源异构数据在融合方式中进行了算法改进，提高了跌倒检测的准确率。

为实现上述目的，本发明采用的技术方案为：

一种基于多源异构数据融合的人体跌倒检测方法，包括以下步骤：

步骤1.基于Kinect v2传感器系统采集人体骨骼节点数据及深度图像数据；

步骤2.对采集的人体骨骼节点数据及深度图像数据进行同步帧采样：设定序列长度，并将输入序列分成N个等长段，然后从每个等长段中随机选择一帧，得到长度为N帧的时序数据；