[发明专利]改进图像分割学习方法和装置及使用其的测试方法和装置

说明书

一种用于改进图像分割的学习方法，包括步骤：(a)如果获得训练图像，则通过编码层获取第(1‑1)特征图至第(1‑K)特征图；(b)通过将H个编码滤波器的每个输出分别输入到第(3‑1)滤波器至第(3‑H)滤波器来获取第(3‑1)特征图至第(3‑H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用第(3‑1)特征图至第(3‑H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图或者通过(ii)允许与第(3‑1)滤波器至第(3‑H)滤波器无关的各个K‑H解码滤波器使用从各个K‑H解码滤波器的各个先前解码滤波器获得的特征图，执行顺序地获取第(2‑K)特征图至第(2‑1)特征图的过程；以及(d)调整CNN的参数。

技术领域

本发明涉及一种用于改进图像分割的学习方法和学习装置及使用它们的测试方法和测试装置，并且更具体地，涉及一种通过使用学习装置改进图像分割的学习方法及学习装置，以及使用它们的测试方法和测试装置，其中，学习装置包括：(i)编码层，具有通过对训练图像应用一个或多个卷积运算分别生成第(1-1)特征图至第(1-K)特征图的第(1-1)滤波器至第(1-K)滤波器中的每一个；(ii)解码层，具有通过对第(1-K)特征图应用一个或多个去卷积运算分别生成第(2-K)特征图至第(2-1)特征图的第(2-K)滤波器至第(2-1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在编码层中的K个滤波器中的H个编码滤波器的每一个与包括在解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3-1)滤波器至第(3-H)滤波器中的每一个，所述学习方法包括以下步骤：(a)如果获得训练图像，则学习装置通过编码层获取第(1-1)特征图至第(1-K)特征图；(b)学习装置通过将H个编码滤波器的每个输出分别输入到第(3-1)滤波器至第(3-H)滤波器获取第(3-1)特征图至第(3-H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用第(3-1)特征图至第(3-H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图，或者通过(ii)允许与第(3-1)滤波器至第(3-H)滤波器无关的各个K-H解码滤波器使用从各个K-H解码滤波器的各个先前解码滤波器获得的特征图，学习装置执行顺序地获取第(2-K)特征图至第(2-1)特征图的过程；以及(d)通过利用地面真值(GT)标签图像与第(2-1)特征图之间的差异执行反向传播过程，学习装置调整第(2-1)滤波器至第(2-K)滤波器、第(3-1)滤波器至第(3-H)滤波器和第(1-1)滤波器至第(1-K)滤波器的至少一部分的参数。

背景技术

深度卷积神经网络，或深度CNN，是深度学习领域显著发展的核心。尽管CNN在20世纪90年代已经被用于解决字符识别问题，但直到最近CNN才在机器学习中得到广泛应用。由于最近的研究，卷积神经网络(CNN)已经成为机器学习领域非常有用和强大的工具。例如，在2012年，深度CNN在年度软件竞赛ImageNet大规模视觉识别挑战赛中的表现明显优于其竞争对手，并赢得了比赛。

因此，出现了使深度学习技术适应图像分割的新趋势。作为参考，图像分割可以包括将输入图像(例如，训练图像或测试图像)划分为多个语义片段并且产生具有清晰边界的一组语义片段以使得语义片段共同覆盖整个输入图像的过程。图像分割的结果是所谓的标签图像。

图1是示出根据现有技术的能够执行图像分割的CNN的学习过程的图。

参考图1，通过编码层中的多个滤波器(即卷积滤波器)对输入图像多次应用卷积运算，获取对应于输入图像(即训练图像)的特征图。然后，通过对特定特征图(即来自编码层的最终输出)多次应用去卷积运算，获得对应于输入图像的标签图像。

详细地，通过卷积运算对输入图像进行编码以获得其对应的特征图并对来自编码层的最终输出进行解码以获得标签图像的CNN的配置被称为编码-解码网络，即U-Net。在编码过程期间，每当执行卷积运算时，输入图像的大小或其对应的特征图的大小可以减小到一半，而输入图像的通道数或其对应的特征图的通道数可以增加。这是为了通过缩小输入图像或其对应的特征图的大小来减少计算量，并通过增加的通道数来提取复杂图案。