[发明专利]一种基于人体语义部件的上衣颜色替换方法

权利要求书

1.一种基于人体语义部件的上衣颜色替换方法，其特征在于，包括以下步骤：

S1、输入图片，首先通过语义分割模型对行人图片进行部件提取；

S2、将上述提取的部件分割成多个身体部分和衣物部分；

S3、其中，对于衣物部分通过颜色分类器分出多个颜色阈；

S4、然后多颜色阈行人数据进行计算GAN生成模型；

具体包括以下步骤：

S41、首先将输入图片通过1x1卷积实现通道的变换，将3通道的图像变为64通道的特征图以供下面模块（ResBlk1-5内容编码模块与ResBlkx5风格编码模块）的使用；

S42、将步骤S41中的输出特征图输入到content编码器与style编码其中进行编码，分别得到content feature与 style class；

S43、将步骤S42得content feature结果结合style class进行上采样，同时将ResBlk-10得结果通过上采样后作为行人语义分割模型得一个输入，与此同时将输入图片作为行人语义分割模型得另一个输入，在训练期间把解码得风格图片得语义分割结果与输入图片得结果进行计算损失，来约束GAN模型；

S44、将解码后得风格图像与行人语义分割约束得图像通过1x1卷积输出到原有的3个通道图像，得到输出结果；

S5、将上述GAN训练结果进行后处理操作；

S6、经过后处理操作后的图片，全部输出为结果。

2.根据权利要求1所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，所述步骤S1中，获取特征的方法，使用ResNet18与通道注意力CAM结合的方法来获取行人语义部件的信息，所述步骤S4中所述GAN训练的同时通过人体语义部件进行约束，以得到固定位置的阈迁移。

3.根据权利要求1所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，所述后处理操作主要后处理包括高斯模糊和边界羽化中的一种或多种。

4.根据权利要求1所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，所述计算GAN生成模型中，生成的行人语义部件与实际约束语义部件的损失，该部分主要有2个损失函数，一个是用来约束GAN生成模型生成语义部件的损失函数dice loss和与标签语义部件的欧氏距离L2距离。

5.根据权利要求4所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，所述损失函数dice loss为：

其中，X、Y分别表示GAN模型生成行人是产生的语义部件和语义部件标签。

6.根据权利要求5所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，所述L2距离为：

其中，X、Y分别表示GAN模型生成行人是产生的语义部件和语义部件标签。

7.根据权利要求6所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，所述生成的行人语义部件与实际约束语义部件的损失：

其中和分别表示dice loss与L2距离的加权系数。

8.根据权利要求2所述的一种基于人体语义部件的上衣颜色替换方法，其特征在于，在输入特征为A的情况下，所述CAM注意力机制流程如下：

S11、分别对A做reshape(C×N)和reshape与transpose(N×C)；

S12、将得到的两个特征图相乘，再通过softmax得到channel attention map X(C×C)；

S13、接着把X的转置(C×C)与reshape的A(C×N)做矩阵乘法，再乘以尺度系数β，再reshape为原来形状，最后与A相加得到最后的输出E；

S14、其中β初始化为0，并逐渐的学习得到更大的权重。