[发明专利]一种基于正交元空间的多模态图像增强方法

摘要

一种基于正交元空间的多模态图像增强方法，属于计算机视觉领域。包括以下特点：1、使用编码‑解码器及互信息最优化策略提取高美学质量图像的样式和内容编码；2、将参考图像的样式编码映射到由一组正交基张成的样式元空间中；3、利用自适应的实例标准化模块以及互信息优化的特征解耦方法提高参考图像的样式和内容编码解耦，构建基于编码‑解码的生成对抗网络进行模型训练；4、在测试阶段，将任意一张普通图像输入训练好的模型，由内容编码器提取内容编码，同时在样式元空间中随机采样多个样式编码，将内容编码与样式编码融合后，送入生成器得到多模态增强图像。通过本发明可以得到在亮度、对比度、颜色等美学特性方面样式多样的增强图像。

主权项

1.一种基于正交元空间的多模态图像增强方法，其特征在于包括以下步骤：1)构建基于正交元空间的多模态图像增强网络模型，其由内容编码器、样式编码器、生成器和判别器组成，其输入为普通图像和高质量美学参考图像的训练集，输出为多模态增强图像，其网络流程如下：1‑1)使用内容编码器和样式编码器提取普通图像和高质量美学参考图像的内容编码和样式编码；1‑2)基于正交元空间对参考图像的样式编码进行多模态建模；1‑3)从正交元空间中提取样式编码和内容编码一起输入到生成器中，输出多模态增强图像；1‑4)将多模态增强图像和参考图像输入判别器进行判别；2)采用梯度下降法优化目标函数，反复训练1)所述基于正交元空间的多模态图像增强网络，从而得到基于正交元空间的多模态图像增强模型；3)将测试集中的普通图像输入2)得到的基于正交元空间的多模态图像增强模型，输出为增强后的多模态图像。