[发明专利]一种抠图网络训练方法、抠图方法及装置

权利要求书

1.一种抠图网络训练方法，其特征在于，包括：

获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；

获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；

基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；

将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。

2.如权利要求1所述的抠图网络训练方法，其特征在于，所述对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图，包括：

对所述蒙版进行随机打洞获得第二图像，对所述第二图像进行腐蚀和膨胀操作并生成所述彩色合成图像对应的三分图；或，对所述蒙版进行腐蚀和膨胀操作并生成第二中间三分图，对所述第二中间三分图进行随机打洞获得所述彩色合成图像对应的所述三分图。

3.如权利要求1所述的抠图网络训练方法，其特征在于，所述基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图，包括：

利用所述深度图像获取软分割图像，对所述软分割图像进行随机打洞获得第一图像，对所述第一图像进行腐蚀和膨胀操作并生成所述彩色图像对应的三分图；或，对所述软分割图像进行腐蚀和膨胀操作并生成第一中间三分图，对所述第一中间三分图进行随机打洞获得所述深度图像对应的三分图；

基于所述彩色图像与所述深度图像的对齐关系，将所述深度图像对应的三分图转换为所述彩色图像的三分图。

4.如权利要求1至3任一项所述的抠图网络训练方法，其特征在于，训练所述初始抠图网络采用混合损失函数监督，所述混合损失函数包括均方误差损失和合成损失。

5.如权利要求1至3任一项所述的抠图网络训练方法，其特征在于，所述初始抠图网络包括至少一个阶段网络或多个串联的阶段网络；所述阶段网络包括串联的环境组合模块、主干区块和预测模块，所述环境组合模块用于经过特征交换后输出低阶特征和高阶特征，所述主干区块用于基于注意力机制融合所述低阶特征和所述高阶特征得到融合特征，所述预测模块用于根据所述融合特征输出预测蒙版。

6.一种抠图方法，其特征在于，包括：

获取包含前景且对齐的彩色图像及深度图像；

基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；

将所述彩色图像及其对应的三分图输入如权利要求1至5任一项所述的抠图网络训练方法得到的所述目标抠图网络，得到仅包含所述前景的蒙版。

7.一种抠图网络训练装置，其特征在于，包括：

获取单元，用于获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；

预处理单元，用于获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；

训练执行单元，用于将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。

8.一种抠图装置，其特征在于，包括：

获取单元，用于获取包含前景且对齐的彩色图像及深度图像；

预处理单元，用于基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；

抠图执行单元，将所述彩色图像及其对应的三分图输入如权利要求7所述的抠图网络训练装置得到的所述目标抠图网络，得到仅包含所述前景的蒙版。