[发明专利]一种多通道图像内容特征融合风格迁移方法及系统

权利要求书

1.一种多通道图像内容特征融合风格迁移方法，其特征在于，包括：

准备训练风格迁移网络模型的数据集，所述数据集分为源域图像β₁^c·u·v和目标域图像

读取源域图像β₁^c·u·v，通过下采样对图像内容特征进行粗提取得到特征向量读取目标域图像通过下采样对图像风格特征进行粗提取得到特征向量

对所述特征向量进行全局池化和全连接层处理，获得风格编码的结果特征向量

对所述特征向量进行单通道特征融合或多通道特征融合或复合通道特征融合；

将所述单通道特征融合或多通道特征融合或复合通道特征融合输出的特征向量与结果特征向量进行融合，输出特征向量

使用解码器进一步提取融合后特征向量完成风格迁移，输出迁移结果

2.根据权利要求1所述一种多通道图像内容特征融合风格迁移方法，其特征在于，所述单通道特征融合使用全连接函数将所述特征向量变换为单特征通道形式特征向量公式为：

其中，D(x)为全连接函数操作，为卷积过程，M^c·3·3为3×3的卷积核，步长s＝2；

使用反卷积神经网络将融合为c个特征通道的特征向量公式为：

其中，C_dec(x)为反卷积操作，为卷积过程，M^c·3·3为3×3的卷积核，步长s＝2；

使用卷积核为1的卷积神经网络整合不同特征通道融合的特征向量，输出特征向量公式为：

其中，C_con(x)为卷积操作，为卷积过程，M^c·1·1为1×1的卷积核，步长s＝1。

3.根据权利要求1所述一种多通道图像内容特征融合风格迁移方法，其特征在于，所述多通道特征融合使用多层残差单元进一步提取所述特征向量的深度特征，得到特征向量公式为：

其中，C_r(x)为残差操作，为卷积过程，M^c·1·1为1×1的卷积核，步长s＝1；

使用卷积核M^c·1·1为1×1的卷积神经网络对残差单元输出的特征向量进行提纯，输出特征向量公式为：

其中，C_con(x)为卷积操作，为卷积过程，M^c·1·1为1×1的卷积核，步长s＝1。

4.根据权利要求2或3所述一种多通道图像内容特征融合风格迁移方法，其特征在于，所述复合通道特征融合为单通道特征融合与多通道特征融合的组合形式，使用卷积核M^c·1·1为1×1的卷积神经网络将特征向量和特征向量进行融合并输出公式为：

其中，C_con(x)为卷积操作，为卷积过程，M^c·1·1为1×1的卷积核，步长s＝1。

5.根据权利要求1所述一种多通道图像内容特征融合风格迁移方法，其特征在于，将所述单通道特征融合或多通道特征融合或复合通道特征融合输出的特征向量与结果特征向量进行融合，输出特征向量公式为：

其中，C_t(x)为融合函数，Θ为对不同形式输出融合的过程。

6.一种多通道图像内容特征融合风格迁移系统，其特征在于，包括特征融合模块，其输入为源域图像β₁^c·u·v经过双倍下采样后的特征向量所述特征融合模块包括深度特征融合单元和特征保持单元；单个特征通道的特征向量输入到深度特征融合单元中，用于提取深度内容特征；多个特征通道的特征向量输入到特征保持单元中，用于减小图像内容的映射偏差。

7.根据权利要求6所述一种多通道图像内容特征融合风格迁移系统，其特征在于，所述特征融合模块分为单通道特征融合模块、多通道特征融合模块和复合通道特征融合模块。