[发明专利]一种抠图网络训练方法、抠图方法及装置

说明书

本申请涉及图像处理技术领域，尤其涉及一种抠图网络训练方法、抠图方法及装置。该抠图网络训练方法包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。本申请实施例不再需要人工标注三分图，降低了人工成本，提高了效率。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种抠图网络训练方法、抠图方法及装置。

背景技术

目前主流的抠图算法可分为三种，一种是基于三分图(trimap)的方法，通过该方法可获取较高精度的前景图像，但其需要对给定图像进行人工标注，而人工标注方式对用户十分不友好，使得该方法实用性较差；另外一种是无trimap的抠图方法，即采用纯RGB图像直接预测前景，但该方法对场景比较敏感，多元化场景泛化性能仍需提升。

为了平衡前两种方法的优缺点，主流抠图算法中的第三种方法为采用软分割作为背景分割的先验图像并通过RGB图像及背景图像获取前景图像，但该方法需要使用结构复杂的分割网络，以致计算量大且速度较慢，难以达到实时性；此外，该方法还需额外拍摄一张背景图像，容易造成用户体验不佳。

发明内容

有鉴于此，本申请实施例提供了一种抠图网络训练方法、抠图方法及装置，可以解决相关技术中的至少一个技术问题。

第一方面，本申请一实施例提供了一种抠图网络训练方法，包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。

本实施例对深度特性进行模拟获得三分图，不再需要人工标注三分图，降低了人工成本，提高了效率。

第二方面，本申请一实施例提供了一种抠图方法，包括：获取包含前景且对齐的彩色图像及深度图像；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图输入如第一方面所述的抠图网络训练方法得到的所述目标抠图网络，得到仅包含所述前景的蒙版。

第三方面，本申请一实施例提供了一种抠图网络训练装置，包括：获取单元，用于获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；预处理单元，用于获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；训练执行单元，用于将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。

第四方面，本申请一实施例提供了一种抠图装置，包括：获取单元，用于获取包含前景且对齐的彩色图像及深度图像；预处理单元，用于基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；抠图执行单元将所述彩色图像及其对应的三分输入如第三方面实施例所述的抠图网络训练装置得到的所述目标抠图网络，得到仅包含所述前景的蒙版。

第五方面，本申请一实施例提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面实施例所述的抠图网络训练方法；或实现如第二方面实施例所述的抠图方法。