[发明专利]一种网页端人物换背景的方法

权利要求书

1.一种网页端人物换背景的方法，其特征在于，包括下述步骤：

上传待转换背景的图片或视频；

构建网页端人物换背景架构，包括前端和后端，前端采用React进行网页端设计，用以上传和下载图片和视频，后端使用Django接受图片利用卷积神经网络进行图片分割，将分割出的人体与新的背景做融合；使用SQLite实现数据库，用以储存原始图片以及背景图片；前端和后端之间使用nginx反向代理进行前后端交互；

所述网页端提供的功能有待分割图片选择，背景选择，分割模型主干网络选择，分割后mask下载和换背景后的图片下载；

Django用于网页后台逻辑的实现和数据的读取，负责给用户提供预设好的背景图片，将用户上传的待换背景图片或视频传输至服务器，解帧后送入预训练好的Mask-RCNN计算得到前景的掩膜，再将前景和预设的背景融合，保存到数据库中并返回至网页端；

用公式来更具体的描述换背景的过程,记I为输入图片，J为预设的背景图片，Θ为若干个1*1的卷积层，则离散化前的掩膜可以表示为：

M＝sigmoid(Θ(f_I))

其中f_I是输入图片的CNN特征图上的ROI区域，M代表ROI每一个像素点是前景的概率，通过sigmoid函数计算得到，其二元交叉熵即为损失函数L_mask，利用双线性插值将M恢复至原图大小，再以0.5为阈值将其进行二值化，得到离散化后的掩膜则输出图片可以表示为：

其中⊙表示对位乘法；

在服务器端对其进行预处理，采用Mask-RCNN作为图像分割模型，使用训练好的分割模型并行运算得到二值化的掩膜；

得到的二值化掩膜经过高斯低通滤波器进行羽化，然后和指定的背景进行融合，得到换背景后的图片或视频；

将输入图片、掩膜和换背景后的图片存入数据库中，并将换背景后的图片返回至网页端。

2.根据权利要求1所述一种网页端人物换背景的方法，其特征在于，如果上传的是视频，则利用ffmpeg将其解为T帧，利用并行计算提高分割速度。

3.根据权利要求1或2所述一种网页端人物换背景的方法，其特征在于，使用ResNet-50模型作为提取图片特征的主干网络,利用双线性插值将输入图片分辨率调整为224×224，模型的输入张量大小为T×3×224×224；并使用随机梯度下降算法来优化这些网络的参数，在前景和预设的背景融合过程中，为了使换背景后的图片更加自然，使用高斯低通滤波器对二值化后的掩膜进行了一定程度的羽化。

4.根据权利要求1所述一种网页端人物换背景的方法，其特征在于，所述Mask-RCNN是在Faster RCNN的基础上，延伸出了一个mask分支；根据Faster RCNN计算出来的每个候选框的分数，筛选出更加准确的兴趣区域ROI，然后用一个ROI Align层提取这些ROI的特征，利用像素级分类找出ROI上为前景的区域，根据ROI和原图的比例，将这个区域扩大回原图，从而得到一个原图上分割的掩膜。

5.根据权利要求4所述一种网页端人物换背景的方法，其特征在于，提取人物的mask之后，再将其剪裁至预设的背景图片中，就达到了人物换背景的目的；由于视频可以看成多帧图片，通过张量的并行计算能大大增加视频的分割速度。

6.根据权利要求1或4所述一种网页端人物换背景的方法，其特征在于，所述图像分割模型损失函数有三部分组成：

L＝L_clc+L_box+L_mask

其中L_clc是多元交叉熵分类损失函数，L_box是smooth L1边框回归损失函数，L_mask是平均二元交叉熵掩膜损失函数。