[发明专利]基于块推荐网络的快速高分辨率图像分割方法

说明书

基于块推荐网络的快速高分辨率图像分割方法，涉及图像处理。1)构建全局分支与局部精细化分支；2)将原始高分辨率图像下采样,均匀划分成若干图像块；3)将下采样图像输入全局分支中得全局分割特征图，均匀划分成若干特征块；4)将下采样图像输入块推荐网络中获取推荐块；5)根据推荐块标号取出推荐块，与全局分割特征图相应特征块进行显著性操作，将结果输入局部精细化分支；6)局部精细化特征块与全局分割特征图相应位置融合，输出融合后的分割结果作为总体分割结果；7)分割结果与真实标签计算误差损失，训练网络，更新网络参数；8)取任意测试图像，重复步骤1)～6)，得到分割预测结果。分割准确，计算资源消耗低，推理时间少。

技术领域

本发明涉及图像处理，尤其是涉及一种基于块推荐网络的快速高分辨率图像分割方法。

背景技术

在人工智能被认为是第四次工业革命以来，全球顶尖、最有影响力的技术公司如google、facebook等都将目光转向AI。神经网络在计算机视觉，自然语言处理等方面的贡献是毋庸置疑的，随着算法的不断完善，部分垂直领域的研究已经落地应用。在计算机视觉领域，目前神经网络的应用主要有图像识别、目标定位与检测、语义分割等。图像识别就是告诉你图像是什么，目标定位与检测告诉你图像中目标在哪里，语义分割则是从像素级别回答上面两个问题。随着深度学习的兴起，语义分割取得了显著的进步。近年来，更多的焦点转移到通过实现对特殊应用如医学图像诊断、城市规划和道路提取以及无人车对道路的识别等问题上来。这些特殊的应用往往是包含2MB高分辨率或4MB超高分辨率图像，若将原图直接输入到流行的语义分割模型中，标准的GPU设备很难承受如此巨大的计算负担，并且要花费大量时间。若采取简单地将原图下采样再输入到流行的语义分割模型中，则会损失过多的细节信息，很难得到好的分割结果。因此，如何对高分辨率以及超高分辨率图像的语义分割取得计算资源消耗、推理速度和准确率三者之间权衡成了一个炙手可热的研究方向。

为了解决高分辨率图像的语义分割显存负载过大的问题，一般采取三种解决方案：一是通过下采样图像的全局方法，二是在原图上裁剪块，“分而治之”思想的局部方法，三是采取以上两种方式互补的全局局部方法。全局方法由于缺少细节特征而分割不准确，局部方法忽略整体的指导信息而常常错误分类。因此，有效结合两者的全局局部方法才是高分辨率语义分割的不二选择。属于全局局部方法的最新方法GLNet(Chen,W.et.al.Collaborativeglobal-local networks for memory-efficient segmentationofultra-high resolution images.In Proceedings of the IEEE ConferenceonComputer Vision and Pattern Recognition,2019.8924–8933)使用全局分支G-branch和局部分支L-branch提取全局特征和局部特征，在两个分支的同一层面进行特征图的双向组合。实验发现该方法在超高分辨率的图像分割方面取得了较好的结果，达到分割精度与显存消耗之间的平衡。然而，该方法平等处理每个图像块，将每个图像块的局部特征与全局特征进行双向融合，造成推理时间的极大消耗。

发明内容

本发明的目的在于针对高分辨率以及超高分辨率图像的语义分割难以取得计算资源消耗、推理速度和准确率三者之间权衡的问题，提供一种可对高分辨率及超高分辨率图像进行快速准确且低显存消耗的基于块推荐网络(Patch Proposal Network,PPN)的快速高分辨率图像分割方法。

本发明包括以下步骤：

1)使用现有的语义分割框架分别构建全局分支G-branch与局部精细化分支R-branch；

2)将原始高分辨率图像下采样成下采样图像,将原始高分辨率图像均匀地划分成若干个图像块；

3)将下采样图像输入全局分支中获得全局分割特征图，然后使用与步骤2)相同的划分方式，将全局分割特征图均匀地划分成若干个特征块。