[发明专利]一种基于人体关键点的图卷积网络跌倒检测方法

权利要求书

1.一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，该方法包括以下步骤：

S1、人体关键点提取

基于姿态估计算法对监控图像中的人体进行关键点提取，构建姿态关键点数据集；

S2、姿态特征提取分类

设计一个双流图卷积网络对人体关键点进行姿态特征提取；所述的双流图卷积网络由图卷积网络和全连接网络组成；其中，图卷积网络提取人体关键点的几何结构信息，全连接网络提取关键点的全局信息；将图卷积网络和全连接网络提取到的姿态特征进行拼接融合，送入分类器完成姿态分类，得到当前行人的姿态状态；

S3、跌倒判决

设置姿态分类结果队列，结合时序信息和分类结果设置风险系数，对当前行人是否发生跌倒进行判断。

2.根据权利要求1所述的一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，所述步骤S1的具体过程如下：

S11、将姿态划分为站立、弯腰、坐和躺四类姿态，采集四类姿态的图像数据；

S12、基于姿态估计算法获取每类姿态图像所对应的关键点信息，构建姿态关键点数据集；具体地，姿态估计算法所获取的是人体17个关键点的坐标信息，以鼻子关键点为例，其坐标信息为p_nose＝[x₁,y₁]，将所有关键点的坐标信息级联排列，得到姿态向量P＝[p_nose,p_neck,…,p_{left_ankle}]＝[x₁,y₁,...,x₁₇,y₁₇]，以此构建姿态关键点数据集。

3.根据权利要求1或2所述的一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，所述步骤S2的具体过程如下：

S21、将姿态向量送入图卷积网络时先将姿态向量构建为骨架图，再将非结构化的骨架图表征成结构化的数据形式；具体过程如下：

首先，将姿态向量P连接构建成一张无向图，连接方式如下：鼻子-左眼，鼻子-右眼，左眼-右眼，左眼-左耳，右眼-右耳，左耳-左肩，右眼-右肩，左肩-左手肘，右肩-右手肘，左肩-右肩，左手肘-左手腕，右手肘-右手腕，左肩-左胯，右肩-右跨，左胯-左膝，右胯-右膝，左膝-左脚踝，右膝-右脚踝；按此方式连接得到人体骨架图G，G有17个节点和19条边；

其次，对骨架图G进行结构化的数据表征：对于骨架图G中的第i个节点，其节点特征用其坐标向量p_i＝[x_i,y_i]表示；对于未检测到的缺省节点，其节点特征填充0向量，将17个关键点的特征向量p₁,…,p₁₇按行排列，得到关于骨架图G的特征矩阵H；对于节点的连接关系采用邻接矩阵A表示，邻接矩阵A的第i行第j列存储了骨架图第个i节点与第个j节点的连接信息，表示为

至此，特征矩阵H和邻接矩阵A对人体骨架图G进行了结构化的数据表征；

S22、搭建图卷积网络对骨架图进行特征提取，图卷积中对每个节点进行特征更新时都会依据节点的连接信息，对相连的节点进行特征聚合再更新，然后将更新后的特征输入到非线性激活函数中以增强网络的非线性能力；同时，经过多层堆叠后深层的网络具有更深的感受野，每个节点能够感知其更多的邻居节点的特征信息，并将此信息传递到下一层中，通过堆叠多层图卷积层可以充分挖掘人体姿态的几何结构信息；定义第l层图卷积函数如下：

其中，W^(l)是卷积网络第l层的权重矩阵，H^(l)是第l层的输入特征矩阵，A是邻接矩阵，ReLU是非线性激活函数，D是骨架图节点度的对角阵；

骨架图G的特征矩阵H经过多层图卷积的更新后，输出特征矩阵H^final，将H^final的所有行向量进行平均池化，得到姿态特征向量

S23、依据提取到的人体的鼻子关键点P_nose＝[x₁,y₁]和脚踝关键点P_ankle＝[x₁₇,y₁₇]，估计人体的近似身高h＝max(|x₁-x₁₇|,|y₁-y₁₇|)，对步骤S1提取的姿态向量进行身高归一化得到归一化后的姿态向量P_norm；

S24、堆叠两层全连接层构建全连接网络，对归一化的姿态向量P_norm进行特征提取，得到姿态特征向量

S25、将步骤S24中全连接网络提取的姿态特征向量和步骤S22中图卷积网络提取的姿态特征向量进行级联拼接，得到融合后的特征向量F，表示按通道进行特征拼接；最后将该特征F输入到由两个全连接层组成的分类器，最后经过softmax函数归一化，输出预测的姿态类别。