[发明专利]一种图像风格迁移模型训练方法以及图像风格迁移方法

权利要求书

1.一种图像风格迁移模型训练方法，其特征在于，包括：

获取风格参考图像以及内容图像；

将所述风格参考图像以及所述内容图像输入第一神经网络，为所述内容图像提取第一特征向量，并为所述风格参考图像提取第二特征向量；

基于所述第一特征向量对所述内容图像进行还原，得到所述内容图像的迁移图像；

将所述风格参考图像和所述迁移图像输入所述第一神经网络，为所述迁移图像提取第三特征向量；

基于所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失；

基于所述第一特征向量和所述第三特征向量，计算所述内容图像和所述迁移图像之间的内容损失；

根据所述内容损失和所述色调损失，对所述第一神经网络进行训练；

其中，所述基于所述第一特征向量和所述第三特征向量，计算所述内容图像和所述迁移图像之间的内容损失，具体包括：

根据所述第一特征向量，获取所述第一特征向量对应的第一特征图中各像素点分别在不同颜色通道的像素值；

依次将所述第一特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；

基于所述第一特征图中各个像素点的灰度像素值，获得第一灰度图，

以及，

根据所述第三特征向量，获取所述第三特征向量对应的第三特征图中各像素点分别在不同颜色通道的像素值；

依次将所述第三特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；

基于所述第三特征图中各个像素点的灰度像素值，获得第三灰度图；

计算所述第一灰度图以及所述第三灰度图之间的差异值，并将所差异值作为所述内容损失；

其中，所述根据所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失，具体包括：

根据所述第二特征向量，计算所述第二特征向量对应的第二特征图上各像素点在所有颜色通道的像素值均值；

根据所述第三特征向量，计算所述第三特征向量对应的第三特征图上各像素点在所有颜色通道的像素值均值；

计算所述第二特征图中的像素点的像素值均值，和所述第三特征图中对应位置的像素点的像素值均值之间的均值差值，并对该均值差值进行噪声消除处理；

将各个像素点对应的进行了噪声消除处理的均值差值相加，得到所述色调损失。

2.根据权利要求1所述的方法，其特征在于，基于所述第一特征向量对所述内容图像进行还原，包括：

将所述第一特征向量输入与所述第一神经网络具有对称结构的第二神经网络对所述内容图像进行还原。

3.根据权利要求1所述的方法，其特征在于，所述计算所述第一灰度图以及所述第三灰度图之间的差异，具体包括：

依次计算所述第一灰度图中的像素点的灰度像素值，和所述第三灰度图中对应位置的像素点的灰度像素值之间的灰度差值，并对该灰度差值求平方，得到各像素点分别对应的差值平方值；

对所有像素点分别对应的差值平方值求和，得到所述差异值。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失，具体包括：

获取所述第二特征向量对应的第二特征图，以及获取所述第三特征向量对应的第三特征图；

计算所述第二特征图和所述第三特征图在不同颜色通道的通道损失；

将不同颜色通道的通道损失相加，获得所述色调损失。

5.根据权利要求4所述的方法，其特征在于，所述计算所述第二特征图和所述第三特征图在不同颜色通道的通道损失，具体包括：

将所述第二特征图和所述第三特征图在不同颜色通道位置对应的像素点的像素值相减，得到各个像素点在不同颜色通道分别对应的通道差值；

对所述通道差值进行噪声消除处理；

将各像素点在不同颜色通道下进行了噪声消除处理后通道差值相加，得到不同颜色通道的通道损失。

6.一种图像风格迁移方法，其特征在于，该方法包括：

获取待迁移图像；

将所述待迁移图像输入至通过权利要求1-5任意一项所述的图像风格迁移模型训练方法得到的图像风格迁移模型中；所述图像风格迁移模型包括第一神经网络以及第二神经网络；

用所述第一神经网络为所述待迁移图像提取特征向量，并基于所述特征向量使用所述第二神经网络对所述待迁移图像进行还原，得到的所述待迁移图像的迁移图像。