[发明专利]一种基于堆叠空洞卷积网络的摔倒检测方法

权利要求书

1.一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于按照如下步骤进行：

步骤1、准备摔倒行为训练集：从多个角度、多个人物和多个场景采集视频图像数据，添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强；

所述的原始人体姿态数据集中不含有摔倒行为图像；

步骤2、通过目标检测算法提取步骤1获取的人体姿态数据集Ⅰ的每张图像的人物个体，摔倒行为的人物个体，得到新的训练集；

所述的新的训练集中行为的标注类别仅包含摔倒和非摔倒；

步骤3、将训练集的每个人物个体制作关节点热图，并且根据训练集人工定义摔倒行为的骨骼点分布；

步骤4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络；

步骤5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像，得到骨骼点的分布结果；将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算，若小于阈值，则判定为摔倒行为；

步骤(1)所述的具体过程如下：

1.1先在一个场景的不同角度放置摄像头，对单个人物进行拍摄，视频中的人物模仿各种摔倒的过程；

1.2在不同的场景下对不同的人物个体重复步骤1.1，获得不同场景不同角度不同人物摔倒的视频数据集；

1.3将视频数据集的每一帧转化为图片，根据需要人工删除部分相邻帧的相似图片，减少数据集的规模，最终获得不同场景不同角度不同人物摔倒的摔倒数据集；将摔倒数据集添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强；

步骤(3)所述具体实现过程如下：

3.1针对训练集中行为标注类别为摔倒的所有图像，先人工单独标注每张图像的各个骨骼点，获得摔倒数据集Ⅱ；

3.2对于训练集中的所有图像，以每个骨骼点坐标为中心，生成该骨骼点对应的高斯热图，对于图像中缺失的骨骼点生成对应的空白图；

3.3根据获得的摔倒数据集Ⅱ，将身体部位对应的骨骼点进行连接，获得多种摔倒姿态，建立摔倒姿态数据库；

步骤(4)所述构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络的过程如下：

4.1构建堆叠空洞卷积网络

堆叠空洞卷积网络由多个并联空洞卷积网络堆叠而成，每个并联空洞卷积网络包括多个具有不同步长卷积核的空洞卷积网络，假设第i个并联空洞卷积网络的第j次空洞卷积操作的特征输出为y_ij，卷积核k，则空洞卷积操作如下：

同理第i个并联空洞卷积网络的第j+1空洞卷积操作如下：

其中Θ表示卷积操作，+表示特征级联，r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野；

4.2训练堆叠空洞卷积网络

4.2.1将预训练好的深度卷积网络模型中的参数加载到堆叠空洞卷积网络，完成堆叠空洞卷积网络的参数初始化；

4.2.2将步骤2获取的训练集输入到初始化后的堆叠空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的堆叠空洞卷积网络；

4.2.3判断训练好的堆叠空洞卷积网络的全局损失值是否小于设定阈值，若是则结束训练，得到最优堆叠空洞卷积网络；若不是则返回步骤4.2.2。

2.根据权利要求1所述的一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于步骤5所述过程实现如下：

5.1把需要进行人体摔倒检测的连续几帧采集到的图像输入训练好的堆叠空洞卷积网络，得到骨骼点分布；将身体部位对应的骨骼点进行连接，得到人体姿态图像；

5.2将得到的人体姿态图像与摔倒姿态数据库中的图像做相似度计算，若相似度满足阈值要求，则判定为摔倒，相似度公式如下：

其中l_k表示第k个骨骼边长(两个骨骼点之间的距离),p表示检测的人体姿态图像结果，g表示摔倒姿态数据库中的结果，K表示所有骨骼边的个数，L越小，相似度越大。