[发明专利]一种多分支图像分割方法、装置、介质及电子设备

说明书

本发明公开了一种多分支图像分割方法、分割装置、存储介质以及电子设备，通过对待分割图像进行下采样缩小图像尺寸并输入第一模型，得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果。

技术领域

本申请涉及图像处理领域，具体涉及一种多分支图像分割方法、分割装置、计算机可读存储介质以及电子设备。

背景技术

随着人工智能技术的不断发展，特别是在图像处理方面的技术，使得神经网络模型大量应用于以图像识别和分割为基层的领域，例如医学图像诊断、无人驾驶控制等。

然而，随着应用场景的不断复杂和准确度的需求，神经网络模型的复杂程度也日益增加，从而使得计算效率降低，这样就降低了神经网络模型的优越性。神经网络模型优化技术主要是寻求模型效果和效率之间的平衡，在保证模型效果(相对复杂的模型效果更佳)的同时，尽可能减少模型的计算量(提高计算效率)。目前，大多数研究方向都是对神经网络模型进行“瘦身”，即降低模型的复杂程度，这样显然是不利于模型的计算效果和准确度的。

发明内容

为了解决上述技术问题，本申请提出了一种多分支图像分割方法、分割装置、计算机可读存储介质以及电子设备，通过对待分割图像进行下采样缩小图像尺寸得到下采样图像，并将下采样图像输入第一模型，得到全局特征图像和第一输出图像，即利用第一模型得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，本申请应用于多分支图像的分割，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果；并且由于第一模型的输入为下采样的图像，第二模型的输入为带分割图像的一部分，因此，整个模型占用GPU显存较小，可以将整个过程放置在GPU上进行计算，运行速度大大提升。

根据本申请的一个方面，提供了一种多分支图像分割方法，包括：对待分割图像进行下采样操作，得到下采样图像；将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像；将所述待分割图像划分为多个区域图像；将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像；以及融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果。

在一实施例中，所述将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像包括：将所述下采样图像输入第一模型，得到所述全局特征图像；以及对所述全局特征图像进行上采样操作，得到所述第一输出图像。

在一实施例中，所述全局特征图像包括所述待分割图像中每个像素点的类别概率，所述对所述全局特征图像进行上采样操作，得到所述第一输出图像包括：选取每个像素点的最大概率对应的类别作为该像素点的预测类别，得到所述全局特征图像的单类别预测图；以及对所述单类别预测图进行上采样操作，得到所述第一输出图像。

在一实施例中，所述将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像包括：将所述多个区域图像中的每个区域图像分别和所述全局特征图像输入所述第二模型，得到多个区域输出图像；以及将所述多个区域输出图像拼接，得到所述第二输出图像。

在一实施例中，所述将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像包括：选取所述多个区域图像中的至少一个区域图像和所述全局特征图像的对应区域图像输入所述第二模型，得到所述第二输出图像。