[发明专利]一种结合语义分割的室内实时摔倒检测算法

权利要求书

1.一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述方法主要通过以下步骤实现：

(1)图像预处理：对输入视频帧/图片使用Mosaic数据增强、自适应锚框、自适应图片收缩策略；

(2)人体摔倒特征提取：将步骤(1)处理后的视频帧/图片输入到改进后的YOLOv7摔倒检测网络中，对图像进行特征提取及分类，其中对YOLOv7的改进包括以下两点：

(2-1)将轻量级全局上下文注意力机制融入到YOLOv7网络的高效聚合模块ELAN层中，使其充分利用全局信息，加强对关键特征的权重，提高检测精度；

(2-2)将YOLOv7主干网络中的标准卷积层替换为分布偏移卷积，通过对标准卷积拆分的方式实现网络的轻量化，减少网络计算复杂度；

(3)场景信息语义分割：将步骤(2)中所检测后的结果，输入到自建的语义分割网络中，对其室内场景信息进行分割，其中将床、沙发分割为可摔倒区域，地面区域分割为非摔倒区域；

(4)摔倒判断：根据目标检测网络和语义分割网络综合判断目标是否摔倒，摔倒判决算法包括以下步骤：1)从步骤(2)中输出第一次摔倒判断结果，若检测目标无摔倒则直接输出无摔倒结果；2)若第一次判断结果为摔倒，则计算目标框像素点位置信息与步骤(3)中分割的可摔倒区域像素位置之间的IoU值，大于所设定阈值则判定为疑似摔倒行为，否则判定为摔倒。

2.根据权利要求1中所述的一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述步骤(1)图像预处理，首先，将一张选定的图片和随机的3张图片进行随机裁剪，再接到一张图上作为训练数据；其次，将锚框尺寸的计算嵌入到模型训练过程中，使模型能自动计算最佳锚框；最后，根据原始图片大小以及输入到网络的图片大小计算缩放比例，然后根据原始图片大小与缩放比例计算缩放后的图片大小，再算出黑边填充数值。

3.根据权利要求1中所述的一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述步骤(2)中改进的YOLOv7摔倒检测网络的具体结构包括：输入层、特征提取层、特征融合层、输出层；

输入层通过图像预处理将图片处理为(640,640,3)的大小；

特征提取层包括：预处理后的图片首先经过(DSConv+BN+SiLU)层×4后尺寸变为(160,160,128)，然后经过GC_ELAN层对全局特征进行提取，之后接入(MPConv+GC_ELAN)层×3后，分别输出三组大小为(80,80,512)、(40,40,1024)、(20,20,1024)的特征图，依次为A3、A4、A5；

特征融合层包括两个步骤：1)自底向上的特征融合：A5通过SPPCSPC模块后通道数缩减为512，通过(DSConv+BN+SiLU)×1后进入Upsample层与A4相融合得到B4特征图，再通过一层ELAN层和Upsample层后与A3相融合得到B3特征图；2)自顶向下的特征融合：B3通过一层ELAN层和MPConv层后与B4层相融合得到C4特征图，再通过一层ELAN层和MPConv层后与A5层相融合得到C5特征图，同时B3经过一层ELAN输出C3特征图；最后特征融合分别输出三组大小为(80,80,256)、(40,40,512)、(20,20,1024)，依次是C3、C4、C5；

输出层分别将C3、C4、C5特征图输入到RepConv层调整通道数，最后经过一层卷积对Objiectness、Class、Bbox三部分进行预测。

4.根据权利要求1中所述的一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述步骤(2-1)中将轻量级全局上下文注意力机制融入到YOLOv7摔倒检测网络的具体实现方法为：将GC注意力机制融入到YOLOv7的高效聚合模块ELAN中，先对ELAN中的Concat传入的每层特征通过(1*1)卷积和Softmax层获得注意力权值，然后进行注意力池化得到全局上下文特征，通过(1*1)卷积得到特征变换，最后将GC模块的输出传送到ELAN中Concat的连接层，即利用加法将全局上下文特征聚合到每个位置的特征上。