[发明专利]一种多通道图像内容特征融合风格迁移方法及系统

说明书

本发明公开了一种多通道图像内容特征融合风格迁移方法及系统，属于深度学习风格迁移领域。为实现风格可变、内容特征一致的风格迁移，其系统提出一种特征融合模块，包含深度特征融合单元和特征保持单元，其输入可以为单特征通道、多特征通道及组合形式的图像内容特征。深度特征融合单元可将多条支路的单一特征通道的图像内容特征进行融合，提取深度内容特征信息，特征保持单元可保持多通道特征完整性。将两个单元输出的四维特征向量进行融合，能够加强深度特征表达能力，保证迁移前后图像内容一致。本发明适用于自主驾驶、安防监控等领域。

技术领域

本发明涉及深度学习风格迁移技术领域，具体涉及一种多通道图像内容特征融合风格迁移方法及系统。

背景技术

目前自动驾驶系统大多依靠雷达、红外设备感知行车周边环境，其对小目标、模糊目标和高速运动目标定位不精确。随着自动驾驶和智能机器人应用领域迅速发展，作为自动驾驶系统必不可少的风格迁移技术，是当前研究的热点之一。

现有风格迁移算法可分为基于神经网络和基于生成对抗网络的风格迁移。名称为一种图片风格迁移方法，公开号为CN112330535A的发明专利申请中公开了一种基于神经网络构建风格迁移模型，对风格迁移模型进行参数更新和归一化处理，通过优化生成器和判别器，重新构建损失函数，有效减少了模型震荡并加快模型收敛速度。名称为基于神经网络的图像风格迁移方法及系统，公开号为CN112288621A的发明专利申请，借助分类神经网络，得到内容图像和风格样本图像的深度特征图，以风格特征为样本，内容特征为约束，实现图像风格迁移。充分利用了深度特征表达力强的优点，使目标图像更符合内容特征和风格纹理的语义特征，更完整的保持纹理信息。基于神经网络的风格迁移大多使用卷积神经网络提取图像内容特征和风格特征，产生的风格迁移效果在细节表现上存在交叉，不能很好的应用于交通场景自动驾驶领域的风格迁移。

生成对抗网络的提出加速了深度学习风格迁移的进步，基于生成对抗网络的风格迁移大多以编解码形式实现。名称为一种基于潜变量特征生成的图像多风格转化方法，公开号为CN110992252A的发明专利申请，在多模态无监督图像转换网络MUNIT基础上，设计风格编码生成器对图像的风格编码进行拟合，同时在内容编码和多风格编码之间引入跳跃连接，在风格编码中引入注意力机制，提高了图像多风格转换的质量和多样性。名称为一种跨域变分对抗自编码方法，公开号为CN110210549A的发明专利申请，利用编码器解耦跨域数据的内容编码和风格编码，利用对抗操作和变分操作分别拟合图像的内容编码和风格编码，通过交叉将不同域的内容编码和风格编码实现跨域图像的一对多变换。可在不使用配对数据集时实现跨域图像的一对多风格迁移。

现有基于神经网络的风格迁移方法无法从图像表征中分离出深度特征，也不能对纹理结构进行显示干预。这种不可控因素会导致模糊的语义表达，并降低生成图片质量。基于生成对抗网络的风格迁移网络训练难以收敛，且风格映射自由，难以应用于自主驾驶领域。如何有效利用深度特征，保证风格迁移前后图像内容一致，更好的应用于交通场景，成为一个亟待解决的问题。

发明内容

本发明提出一种多通道图像内容特征融合风格迁移方法及系统，能够将不同特征通道的图像内容特征融合到一起，提升了小目标和模糊目标的提取能力以及图像细节纹理信息的迁移能力。能够有效实现图像内容特征一致性的风格迁移，可很好的应用于自主驾驶、安防监控等领域。

为实现上述目的，本发明的技术方案为：一种多通道图像内容特征融合风格迁移方法，包括：

准备训练风格迁移网络模型的数据集，所述数据集分为源域图像和目标域图像

读取源域图像通过下采样对图像内容特征进行粗提取得到特征向量读取目标域图像通过下采样对图像风格特征进行粗提取得到特征向量

对所述特征向量进行全局池化和全连接层处理，获得风格编码的结果特征向量

对所述特征向量进行单通道特征融合或多通道特征融合或复合通道特征融合；