[发明专利]一种基于多源异构数据融合的人体跌倒检测方法

权利要求书

1.一种基于多源异构数据融合的人体跌倒检测方法，包括以下步骤：

步骤1.基于Kinect v2传感器系统采集人体骨骼节点数据及深度图像数据；

步骤2.对采集的人体骨骼节点数据及深度图像数据进行同步帧采样：设定序列长度，并将输入序列分成N个等长段，然后从每个等长段中随机选择一帧，得到长度为N帧的时序数据；

步骤3.对采样后人体骨骼节点数据及深度图像数据进行数据处理；

步骤3-1.针对人体骨骼节点数据：

步骤3-1-1.节点处理：对每一帧骨骼节点数据进行节点处理，在Kinect v2传感器提供的25个骨骼节点中选取躯干骨骼节点，关节以树遍历顺序排列；

步骤3-1-2.坐标归一化：对上述每一帧骨骼节点的三维坐标点进行坐标归一化；

步骤3-1-3.通过CNN-LSTM模型对预处理后骨骼节点数据进行特征提取，得到骨骼数据特征h^t；

步骤3-2.针对深度图像数据：

步骤3-2-1.根据运动动力学生成运动历史图像(MHI)：

步骤3-2-2.将运动历史图像进行归一化；

步骤3-2-3.对归一化后运动历史图像进行图像增强，得到训练数据集；

步骤3-2-4.采用VGG16模型对训练数据集进行特征提取，得到一维特征向量h^o；

步骤4.骨骼节点数据与深度图像数据在特征提取之后进行无键注意数据融合；

步骤4-1.将骨骼数据特征h^t以及深度图像特征h^o进行串联得到：

其中，表示第n帧人体骨骼节点数据提取的人体骨骼节点特征、n＝1,2,...,N；

步骤4-2.将h^B称作为注释向量，注意机制通过对注释向量的期望计算给出输出向量c：

其中，λ_n表示的权重：

其中，ω为与注释向量相同维数的可学习参数；

步骤5.数据融合处理后的向量输入到分类器，得到分类结果。

2.按权利要求1所述基于多源异构数据融合的人体跌倒检测方法，其特征在于，所述步骤3-2-1的具体过程为：首先，将每一帧深度图像进行灰度转化；然后，将第一帧作为背景，计算第二帧与第一帧对应的像素之间的绝对差值，若任一像素点的差值大于预设阈值、则该像素点认定为动态像素并指定为白色，否则、该像素点认定为静止的像素并指定为黑色，将合成图形作为新的背景；依次类推，合成运动历史图像。