[发明专利]视频自动抠像方法及系统

权利要求书

1.一种视频自动抠像方法，其特征在于，包括：

将需要执行抠像的原始视频图像输入至初始分割模型，得到原始视频图像的三元图，三元图包括：前景区域，背景区域以及不确定区域；

将显示背景区域的背景图像及三元图作为先验信息，与原始视频图像一同输出至分割模型中，得到原始视频图像的抠像结果。

2.根据权利要求1所述的视频自动抠像方法，其特征在于，初始分割模型包括：原型网络，以及预测网络。

3.根据权利要求2所述的视频自动抠像方法，其特征在于，将需要执行抠像的原始视频图像输入至初始分割模型，得到原始视频图像的三元图，包括：

利用原型网络，为每个图片生成32个原型掩码；

利用预测网络，生成各个候选框类别的置信度，锚点的位置以及原型掩码的系数；

将预测网络得到的掩码系数和原型网络得到的原型掩码进行加权求和，得到输入图像的mask；

根据输入图像的mask，生成三元图。

4.根据权利要求3所述的视频自动抠像方法，其特征在于，根据输入图像的mask，生成三元图，包括：

通过腐蚀操作及高斯滤波操作，生成三元图。

5.根据权利要求1所述的视频自动抠像方法，其特征在于，将显示背景区域的背景图像及三元图作为先验信息，与原始视频图像一同输出至分割模型中，得到原始视频图像的抠像结果，包括：

根据分割模型得到的检测框将整张图的分割简化成只对人像的抠像，其它剩余部分默认为背景区域；

使用3个残差网络对3个输入分别进行编码，得到3组通道数为256的特征图；

使用一个由1*1卷积，批归一化等操作组成的选择器来将输入图像的特征图分别和背景的特征图以及三元图的特征图进行融合；

使用一个由1*1卷积等操作构成的协调器来对视频帧的特征图以及两个选择器得到的特征图融合成一个通道数为256的特征图；

通过两个不同的残差网络分支分别得到前景图片F以及透明度的蒙板α。

6.根据权利要求5所述的视频自动抠像方法，其特征在于，分割模型采用有监督训练和基于真实数据的对抗训练。

7.根据权利要求1所述的视频自动抠像方法，其特征在于，还包括：

在得到原始视频图像的抠像结果之后，对抠像结果进行后处理。

8.根据权利要求7所述的视频自动抠像方法，其特征在于，对抠像结果进行后处理，包括：

使用阈值0.95对预测的蒙板α进行初步过滤；

取连通域面积最大的前景作为预测的抠像前景；

根据人像区域的bounding box信息，将模型生成的预测的α蒙板还原成原图的大小并放置于原图对应的位置中。

9.根据权利要求8所述的视频自动抠像方法，其特征在于，对抠像结果进行后处理，还包括：

在将模型生成的预测的α蒙板还原成原图的大小并放置于原图对应的位置中之后，根据业务场景确定不必参与抠像的部分生成新的mask掩码；

根据mask掩码得到最终的抠像结果。

10.一种视频自动抠像系统，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至9任意一项所述的视频自动抠像方法。