[发明专利]一种基于神经网络的适用于多尺度多目标的摔倒检测方法

权利要求书

1.一种基于神经网络的适用于多尺度多目标的摔倒检测方法，其特征在于：所述方法通过以下步骤实现：

(1)对公开的摔倒检测数据集进行补充，制作摔倒检测融合数据集：

(1-1)制作融合视频：拍摄多段人体目标距离摄像头不同距离不同角度以及单人和多人的摔倒视频，并与公开的摔倒视频进行融合，视频中的人体动作包括站立、行走、坐、弯腰和摔倒；拍摄场景包括会议室、家中卧室；

(1-2)帧截取和初步筛选：对融合视频进行帧截取，每秒截取三帧，并且选取不同时刻视频数据，以防止由于光线、背景和穿着变化带来的影响，通过初步筛选，获得N1张原始图片；

(1-3)进一步筛选：人体目标在监控中是按时间段停留，会出现人体目标出现在监控区域边界的情况，当人体只有部分部位出现在监控区域时，参考人眼特性，无法对目标进行区分，当人体处于监控区域边界范围且不易被肉眼区分所处状态的目标不做检测，场景中有物体将人体遮挡三分之二以上的目标不做检测；通过进一步筛选，最终获得N2张图片；

(1-4)数据标定：对两次筛选后的图片进行标定，将标签分为5类：Standing、Walk、Sit、Bend_over和Fall；在N2张图片中随机选取N3张图片作为测试数据，剩余N4张图片用作训练数据；

(1-5)数据增强：使用Mosaic数据增强方法每次随机读取4张图片，分别对4张图片进行旋转缩放操作，将4张图片拼接成一张图片，丰富物体的检测背景，对摔倒检测融合数据集进行扩增；

(2)对YOLOv4网络进行改造，搭建针对人体特性的YOLOv4摔倒检测网络：包括针对人体特性的YOLOv4特征提取网络CSPDarknet53、YOLOv4的颈部网络和YOLOv4头部网络；

(2-1)搭建针对人体特性的YOLOv4特征提取网络CSPDarknet53：YOLOv4网络模型共使用(13，13，N)，(26，26，N)，(52，52，N)三个特征层，分别用来识别大中小三类目标，由于人体尺寸较大，为适合人体尺寸N特性，将以上三类特征层改造成(6，6，N)，(12，12，N)，(24，24，N)进行检测，将输入图片大小调整为(384，384)，且增加一层Resblock_body(6，6，1024)x1层；

(2-2)搭建YOLOv4的颈部网络：PANet网络；

(2-3)搭建YOLOv4头部网络：YOLO Head1网络、YOLO Head2网络和YOLO Head3网络；

(3)使用K-means算法针对摔倒检测融合数据集更新anchors值：

使用K-means算法对摔倒检测融合数据集进行统计，对anchors值进行更新；

(4)采用Label Smoothing对网络标签进行改造：

采用Label Smoothing平滑，将分类准确做出惩罚，平滑后的标签变成0.005和0.995；

(5)对改造后YOLOv4网络进行训练和测试：

对摔倒检测融合数据集进行训练，剖析整个网络训练的损失函数，若不收敛则不断迭代更新网络参数调整网络结构，重新对网络进行训练，若整个网络趋于收敛则得到目标检测和摔倒判定融合网络模型，对得到的网络模型进行测试得到检测的准确率，通过比较和评价得到对检测目标的分类结果，实现对人体是否摔倒的检测；

将目标识别和摔倒判定融合到YOLOv4网络中：将摔倒检测融合数据集中图片输入到网络模型中，人体行为图片被分成不同大小的网格，将每个网格预测的人体行为信息和预测框的置信值进行乘积，得到每个预测框的具体类别置信分数，将摔倒判定问题看做分类问题在目标检测网络中进行；

其数据集中目标分类的结果包括：站立的人、行走的人、坐着的人、弯腰的人和摔倒的人，其中身体被遮挡一半以内站立的人被识别为站立的人，身体被遮挡一半以内行走的人被识别为行走的人，身体被遮挡一半以内坐着的人被识别为坐着的人，身体被遮挡一半以内弯腰的人被识别为弯腰的人，身体被遮挡一半以内摔倒的人被识别为摔倒的人。