[发明专利]基于改进姿态估计算法的嵌入式平台实时跌倒检测方法

权利要求书

1.一种基于改进姿态估计算法的嵌入式平台实时跌倒检测方法，包括以下步骤：

步骤一：使用轻量化结构搭建姿态估计网络

1-1、搭建特征提取网络：改进openpose算法中提取特征的部分，使用深度可分离卷积和逆残差结构搭建特征提取部分的网络，并引入注意力机制：

(1)基本模块的结构：包括一个深度可分离卷积和两个1*1卷积，同时使用逆残差结构。基本模块的输入分成两个分支，第一个分支先使用1*1卷积扩大通道数，然后使用3*3的深度可分离卷积，再使用一个1*1卷积减少通道数；第二个分支取此基本模块的输入特征图和此基本模块第一分支的输出特征图相加作为此基本模块的输出；

(2)使用步骤(1)的基本模块搭建特征提取网络，网络结构为：使用大小为432*368的图片作为输入，先使用一个3*3的普通卷积，然后使用9个步骤(1)中的基本模块依次连接组成姿态估计网络中的特征提取部分，并将最后一个基本模块的输出和第六个基本模块的输出在通道上进行叠加，形成特征提取网络的输出；这9个基本模块中，有部分基本模块中包含通道注意力模块，通道注意力模块设置在深度可分离卷积后，对此时特征图的通道数分配权重，即判断不同通道特征图的重要性；

1-2、搭建姿态估计网络：经过步骤1-1中的特征提取网络，提取得到维度为54x46x120的特征图，将这些特征图送入第一阶段，每个阶段包含两个分支，每个分支都首先通过5个3x3的深度卷积结构，深度卷积结构包括3*3的深度可分离卷积和1*1卷积，然后再通过2个1x1的卷积，每个阶段的两个分支的最后输出通道数分别为19和38；下一个阶段的输入为此阶段的输出与特征提取网络输出的特征图的通道叠加，总共有五个这样的阶段；输出中的19通道特征图表示每张特征图预测人体的一个部位，共有18个，外加一张背景特征图，而38通道的输出表示人体部位关节点连接的矢量图；除了最后的阶段，其他阶段的19通道和38通道的输出都会和特征提取网络的输出特征图进行融合，然后作为下一个阶段的输入；

1-3、损失函数和关节点匹配：对步骤1-1和步骤1-2搭建的网络整体进行训练，人体关节点损失函数为姿态估计网络的关节点输出特征图和数据集标注位置的差，关节点连接的损失函数为姿态估计网络的关节点连接输出特征图和数据集中标注位置连接的差，同时对步骤1-2中的各个阶段都使用L2损失函数，整体损失为各部分损失之和；对检测到的多个人关节点使用匈牙利匹配算法进行分配，得到每个人的关节点坐标以及置信度信息；

步骤二：人体姿态追踪

训练改进的姿态估计网络得到姿态估计模型，使用姿态估计模型对视频帧图片进行人体姿态估计，得到每个人的关节点坐标，计算不同帧中同一个人的各个关节点的距离；其中，第m个人的第j个关节点的坐标矩阵为L_j,m＝(x_j,m,y_j,m,c_j,m)，公式中x_j,m和y_j,m表示的是人体关节点的坐标点；c_j,m表示是关节点的置信度；第m个人的坐标矩阵为：P_m＝(L_1,m,L_2,m...L_18,m)，计算前后相邻帧中不同人的各个关节点欧式距离之和的平均值，距离最小并小于阈值即为同一个人；

步骤三：跌倒行为检测

使用步骤二中的方法对不同帧中的人体进行追踪，根据前后帧同一个人的关节点的坐标变化情况、关节点连线与水平线夹角以及宽高比对人体跌倒进行检测；

步骤四：将姿态估计模型部署在嵌入式平台上，对视频帧进行姿态估计，并对不同的人进行姿态追踪，进行实时跌倒检测。

2.根据权利要求1所述的检测方法，其特征在于，在搭建特征提取网络时，使用的9个基本模块中，仅在第四、五、六个基本模块添加通道注意力模块；在第七、八、九个基本模块中使用的激活函数为h-swish，其他基本模块使用的是relu6激活函数。