[发明专利]图像生成方法、装置、设备及介质

说明书

本发明实施例提供一种图像生成方法、装置、设备及介质。该方法包括：获取训练图像；基于信道注意网络中的编码器处理训练图像，生成第一特征图，基于信道注意网络中的解码器处理训练图像，生成第二特征图；基于信道注意网络中的多通道注意力模块对第一特征图和第二特征图进行整合，生成第三特征图；基于第三特征图对信道注意网络进行训练，得到图像生成模型；基于该模型对待处理图像进行处理，得到图像生成结果。如此能够获得带有多通道注意力模块的图像生成模型，该模型可以在不需要配对数据的情况下将输入图像从一个域转换为多个域，而且，基于该模型生成目标图像，不仅可以提高图像平移任务的性能，还可以减少计算参数，提高图像生成效果。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像生成方法、装置、设备和计算机可读存储介质。

背景技术

现有的图像翻译模型大多采用自编码网络，先将源域中的输入图像编码为中间表示，中间表示是输入图像内容的高级抽象，然后根据条件域向量将其解码为目标域的图像。

但是，直接在目标域中生成图像会给解码器带来很大的负担，并且会导致较差的结果，因为不同的域转换可能会对输入图像进行全局、局部甚至抽象的操作。

发明内容

本发明实施例提供了一种图像生成方法、装置、设备和计算机可读存储介质，能够在不需要配对数据的情况下将输入图像从一个域转换为多个域，可以提高图像平移任务的性能，减少计算参数，提高图像生成效果。

第一方面，本发明实施例提供一种图像生成模型训练方法，该方法包括：获取训练图像；基于信道注意网络中的编码器处理训练图像，生成第一特征图，以及基于信道注意网络中的解码器处理训练图像，生成第二特征图；基于信道注意网络中的多通道注意力模块对第一特征图和第二特征图进行整合，生成第三特征图；基于第三特征图对信道注意网络进行训练，得到图像生成模型；其中，信道注意网络是将多通道注意力模块添加至U-Net模型中并进行调整而得到的，信道注意网络中的编码器和解码器之间跳跃连接。

在第一方面的一些可实现方式中，基于信道注意网络中的多通道注意力模块对第一特征图和第二特征图进行整合，生成第三特征图，包括：基于多通道注意力模块，对第一特征图进行全局平均池化，生成信道统计量，将信道统计量与预设的先验知识量连接，并进行降维转换，生成全连接特征向量，基于第一特征图、第二特征图以及全连接特征向量，生成第三特征图。

在第一方面的一些可实现方式中，基于第三特征图对信道注意网络进行训练，包括：基于第三特征图、信道注意网络的损失函数、自适应矩估计Adam优化算法，对信道注意网络的参数进行调整。

在第一方面的一些可实现方式中，信道注意网络的损失函数包括对抗损失函数和辅助分类损失函数。

第二方面，本发明实施例提供一种图像生成方法，该方法包括：获取待处理图像；基于图像生成模型对待处理图像进行图像生成，得到图像生成结果，其中，图像生成模型基于第一方面或者第一方面任一可实现方式中所述的图像生成模型训练方法得到。

第三方面，本发明实施例提供一种图像生成模型训练装置，该装置包括：获取模块，用于获取训练图像；生成模块，用于基于信道注意网络中的编码器处理训练图像，生成第一特征图，以及基于信道注意网络中的解码器处理训练图像，生成第二特征图；整合模块，用于基于信道注意网络中的多通道注意力模块对第一特征图和第二特征图进行整合，生成第三特征图；训练模块，用于基于第三特征图对信道注意网络进行训练，得到图像生成模型；其中，信道注意网络是将多通道注意力模块添加至U-Net模型中并进行调整而得到的，信道注意网络中的编码器和解码器之间跳跃连接。

在第三方面的一些可实现方式中，整合模块具体用于：基于多通道注意力模块，对第一特征图进行全局平均池化，生成信道统计量，将信道统计量与预设的先验知识量连接，并进行降维转换，生成全连接特征向量，基于第一特征图、第二特征图以及全连接特征向量，生成第三特征图。