[发明专利]一种基于注意力机制实现端到端的森林火灾检测算法

权利要求书

1.一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，包括步骤：

S1：收集森林火灾事件系列图片，并对其进行预处理；先对系列图片进行数据增强，之后按照随机裁剪与随机排布的方式进行拼接生成拼接图，将多个生成的拼接图进行组合生成第一数据集，并对第一数据集引入预设高斯噪声；

S2：将森林火灾事件系列图片的特征分为浓烟与火焰两个特征表现；根据相对应的特征表现，依次为第一数据集中拼接图赋予第一标签与第二标签进行标注；并将标注后的拼接图按照其特征表现的标签，生成与该图片对应的标签组团，并按序显示其标签类别；

S3：采用卷积神经网络对拼接图提取2D特征，并采用交叉注意力机制将提取出的2D特征进行特征融合；其预测头采用前向网络FFN对拼接图的类型信息与定位框进行预测，其中定位框采用匈牙利算法进行二分图匹配，并对损失函数进行优化；在多次优化后输出唯一定位框；

S4：采用标准COCO数据集进行预训练，并通过迁移学习将其迁移至第一数据集进行训练；将第一数据集按比例划分为训练集与测试集，将训练集送入网络模型中进行迭代训练，并采用自适应梯度下降算法调节其学习率，得到最优模型；

S5：根据上述步骤S4的训练结果，将测试集中的拼接图送入训练好的最优模型中，确认拼接图目标中的类别及位置，输出最终结果。

2.根据权利要求1所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S1中，预处理过程采用Mosaic-4方法进行数据增强，并选取4张系列图片进行拼接组合，输出一张拼接图。

3.根据权利要求1所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，所述第一标签与第二标签分别对应浓烟与火焰，其标注为YOLO格式标注；任一一张拼接图经过标注后都会根据其标签类别依次生成的标签组团中包括：标签类别、标记框中心横坐标与图片宽度的比值、标记框中心纵坐标与图片高度的比值、标记框宽度与图片宽度的比值以及标记框高度与图片高度的比值。

4.根据权利要求3所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，采用CNN骨干网络ResNet-50模型进行特征提取输出特征图；在对图片进行提取之前，还先将ResNet-50模型加入COCO数据集上进行预训练，然后冻结其权重参数，再迁移到目标数据集上进行二次训练后再对拼接图进行2d特征提取。

5.根据权利要求4所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，任一拼接图还添加有位置编码，位置编码采用绝对位置编码；任一拼接图的编码会根据其不同频率下的正弦余弦函数对空间位置进行计算再进行编码。

6.根据权利要求5所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，特征融合过程包括：

将拼接图输入到训练好的ResNet-50模型进行2D特征提取，并将提取的2D特征经过Flatten()函数扁平化后与位置编码相加，并传递给6层的Encoder-Decoder结构；其中每部分的Encoder-Decoder采用完全相同的结构。

7.根据权利要求6所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，前向网络FFN采用由Relu激活函数和3层1*1卷积层组合形成的构造，用于对标准化中心坐标、高度与宽度进行预测，之后再通过softmax函数激活获取预测的类型信息。

8.根据权利要求7所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，定位框采用匈牙利算法进行二分图匹配，使预测的结果集合与真实的结果集合中的元素进行一一对应，其中预测的结果包括类型信息与定位框；其优化过程为：采用标注信息与预测信息做差，使得预测的类型信息与标注的类型信息接近一致，并使定位框的参数也与真实的参数接近一致令损失函数最小化；其中，所述标注信息为真实的类型信息，包括物体的位置和类别；所述预测信息包括定位框的位置和物体类别的概率。