[发明专利]图像处理方法、装置和电子设备

说明书

本发明提供了一种图像处理方法、装置和电子设备。其中，该方法包括：获取第一图像和第二图像，其中，第二图像包含目标物体；将第一图像和第二图像输入预先训练完成的图像处理模型中，输出转换图像；其中，转换图像包含第一图像的场景和目标物体；图像处理模型包含生成器模型，通过生成器模型进行第一图像和第二图像的图像处理，生成器模型基于注意力机制和U‑net结构构建。该方式可以从第二图像中提取目标物体，将提取后的目标物体迁移至第一图像内得到转换图像，在给定的场景视频中添加目标物体并完成风格信息的融合，保持了高质量的背景细节，可以保证场景中目标物体的多样性，迁移后的场景具有较高的视觉真实性。

技术领域

本发明涉及视频火灾探测技术领域，尤其是涉及一种图像处理方法、 装置和电子设备。

背景技术

与传统的视频火灾识别以及火灾检测方法相比，基于深度学习的火灾 识别和检测方法可以达到极高的准确率。但深度学习的模型是高度数据驱 动的，训练出一个准确率高、鲁棒性强的火灾识别网络需要大量的数据支 持。在特定场景中，火的危险性质会给火灾图像的大量采集造成一定的困 难。寻找适于描述大空间中火焰运动和变化的特征。

因为深度学习的方法依赖于训练集的样本的数量和质量，所以正样本 与负样本不均衡会影响到深度神经网络识别的准确率。由于安全限制，在 很多特殊空间场景下无法直接实施点火，这将造成训练集与测试集的不一 致。由固定的试验场所采集的数据存在背景和干扰情况单一的缺陷，如果 这类干扰与火焰所具有的特征相似，识别火焰的模型或网络则会在很大程 度上由于未能事先学习而造成误报，将会限制基于深度学习的火灾识别算 法在特殊空间场景下的作用和效果。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子设 备，以提高基于深度学习的火灾识别算法在特殊空间场景下的作用和效果。

第一方面，本发明实施例提供了一种图像处理方法，方法包括：获取 第一图像和第二图像，其中，第二图像包含目标物体；将第一图像和第二 图像输入预先训练完成的图像处理模型中，输出转换图像；其中，转换图 像包含第一图像的场景和目标物体；图像处理模型包含生成器模型，通过 生成器模型进行第一图像和第二图像的图像处理，生成器模型基于注意力 机制和U-net结构构建。

在本发明较佳的实施例中，上述将第一图像和第二图像输入预先训练 完成的图像处理模型中，输出转换图像的步骤，包括：从第二图像中提取 包含目标物体的目标物体图像；对目标物体图像和第一图像进行拼接处理， 得到待转换图像；待转换图像包含第一图像的场景和目标物体；将待转换 图像输入生成器模型中，输出转换图像。

在本发明较佳的实施例中，上述目标物体为火焰。

在本发明较佳的实施例中，上述生成器模型包含相同深度的第一卷积 层和第二卷积层；U-net结构在第一卷积层和第二卷积层之间跳跃连接；上 述注意力机制加载在生成器模型的指定位置；其中，指定位置至少包含以 下之一：生成器模型的前端、中端或末端。

在本发明较佳的实施例中，上述图像处理模型还包含判别器模型；判 别器模型的结构包含条件生成对抗网络CGAN结构和马尔可夫判别器 PatchGAN结构。

在本发明较佳的实施例中，上述图像处理模型通过以下步骤训练：获 取第一训练样本、第二训练样本和真实样本；其中，第二图像包含训练物 体，真实样本为在第一训练样本的场景下拍摄的包含训练样本的图像；从 第二训练样本中提取包含训练物体的训练物体图像；对训练物体图像和第 一训练样本进行拼接处理，得到待转换样本；待转换样本包含第一训练样 本的场景和训练物体；将待转换样本输入生成器模型中，输出转换样本； 其中，转换样本包含第一训练样本的场景和训练物体；将转换样本、真实 样本和待转换样本输入判别器模型中，输出图像处理模型的损失值；基于 损失值调整图像处理模型的参数；继续执行获取第一训练样本、第二训练 样本和真实样本的步骤，直至损失值满足预设的训练结束条件时，将当前 训练得到的图像处理模型确定为训练好的图像处理模型。