[发明专利]图像处理方法、装置、设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取当前视频流，所述当前视频流包括至少一帧包含目标对象图像的待处理视频帧；

将所述待处理视频帧输入至蒙版处理模型中以得到前景蒙版，所述前景蒙版对应所述目标对象图像，所述蒙版处理模型用于通过背景解码子单元和前景解码子单元分别输出所述待处理视频帧的前景特征图和背景特征图，以及根据所述前景特征图和背景特征图确定所述前景蒙版；

根据所述前景蒙版对所述待处理视频帧进行背景替换以更新所述当前视频流中的待处理视频帧；

将更新后的当前视频流发送至服务端，以由服务端下发至目标用户端。

2.根据权利要求1所述的方法，其特征在于，在根据所述前景蒙版对所述待处理视频帧进行背景替换以更新所述当前视频流中的待处理视频帧之前，还包括：

接收用户上传的背景替换模板或者确定用户在背景替换模板库中选择的背景替换模板；

根据所述背景替换模板和所述前景蒙版对所述待处理视频帧进行背景替换以更新所述当前视频流中的待处理视频帧。

3.根据权利要求1所述的方法，其特征在于，所述蒙版处理模型包括编码单元、解码单元和输出单元；所述编码单元用于从所述待处理视频帧提取编码特征；所述解码单元包括并行的前景解码子单元和背景解码子单元，所述前景解码子单元用于根据所述编码特征重构所述待处理视频帧的前景特征图，所述背景解码子单元用于根据所述编码特征重构所述待处理视频帧的背景特征图；所述输出单元用于根据所述前景特征图和所述背景特征图确定所述前景蒙版。

4.根据权利要求1所述的方法，其特征在于，所述前景解码子单元和所述背景解码子单元分别包含顺序连接的至少一个用于语义分割的第一反向特征提取层以及至少一个用于抠图的第二反向特征提取层。

5.根据权利要求4所述的方法，其特征在于，在一个解码子单元中，第一反向特征提取层的数量与第二反向特征提取层的数量相同。

6.根据权利要求1所述的方法，其特征在于，所述输出单元用于对所述前景特征图和所述背景特征图进行拼接以得到前景权重，以及根据所述前景特征图、所述背景特征图以及所述前景权重确定所述前景蒙版。

7.根据权利要求6所述的方法，其特征在于，所述输出单元具体用于按照如下公式确定所述前景蒙版：

alpha＝beta×F+(1-beta)×(1-B)

其中，alpha为前景蒙版，beta为前景权重，F为前景特征图，B为背景特征图。

8.根据权利要求6所述的方法，其特征在于，所述蒙版处理模型由待训练的蒙版处理模型经以下训练方法训练而成，该训练方法包括：

获取训练样本集合，其中，所述训练样本集合中的训练样本包括模板图像和包含目标对象图像的待处理视频帧，所述模板图像包括对应前景蒙版的前景训练模板以及与所述前景训练模板对应的背景训练模板；

将所述训练样本集合中的训练样本输入待训练的蒙版处理模型进行训练，并基于设定损失函数进行模型参数优化以生成所述蒙版处理模型。

9.根据权利要求8所述的方法，其特征在于，

在所述待训练的蒙版处理模型中，用于语义分割的第一反向特征提取层使用的设定损失函数为二分类交叉熵损失函数；用于抠图的第二反向特征提取层使用的设定损失函数为最小绝对值偏差。

10.根据权利要求8所述的方法，其特征在于，训练样本集合的获取方法包括：

获取包含目标对象图像的待处理视频帧和对应前景蒙版的前景训练模板的样本集合；

将所述前景训练模板进行取反处理，以生成与所述前景训练模板对应的背景训练模板；

将所述背景训练模板添加至所述训练样本集合，以更新所述训练样本集合。