[发明专利]图像处理方法和装置以及模型训练方法和装置

说明书

本公开提供一种图像处理方法和装置以及模型训练方法和装置。所述图像处理方法可包括以下步骤：获取第一图像；将所述第一图像输入至图像处理模型中，得到第二图像，所述第二图像的质量高于所述第一图像，其中，所述图像处理模型嵌入有注意力模块，所述注意力模块用于确定所述图像处理模型中不同层之间的相关性。

技术领域

本公开涉及图像处理和神经网络领域，尤其涉及一种用于图像恢复的图像处理方法和图像处理装置以及图像处理模型的训练方法和训练装置。

背景技术

图像恢复根据退化先验知识，从退化的低质量图像恢复高质量图像的过程。图像恢复根据退化模型的不同可应用于图像超分辨率、图像降噪和图像去马赛克处理等任务。随着深度学习技术的进步，神经网络模型在图像重建任务中取得了较好的效果，常用的神经网络模型如EDSR和RCAN，已被广泛应用于图像恢复任务。

为了增强神经网络模型的学习能力，自注意力机制被提出用于学习特征间的全局相关性，并被验证可提高神经网络在图像恢复任务上的学习能力。例如，针对图像恢复任务的残差非局部注意力网络构建了基于非局部注意力机制的神经网络模型，在其神经网络模型中，设计了一条非局部信息提取的分支，使用非局部注意力机制模型进行单层的全局特征学习，并通过残差模型将该分支嵌入到所用的神经网络。但是，这种方法仅探索了单层特征间的全局相关性，而忽视了不同层特征间的相关性。另外，这种方法在处理较大尺寸的图像时速度较慢，并且也没有探索所提出的注意力模块在神经网络中的部署方案。

发明内容

本公开提供一种图像处理方法和装置以及模型训练方法和装置，以至少解决上述提及的问题。

根据本公开实施例的第一方面，提供一种图像处理方法，可包括：获取第一图像；将所述第一图像输入至图像处理模型中，得到第二图像，所述第二图像的质量高于所述第一图像，其中，所述图像处理模型嵌入有注意力模块，所述注意力模块用于确定所述图像处理模型中不同层之间的相关性。

可选地，所述图像处理模型可至少包含标记层和参考层，其中，所述标记层为所述图像处理模型中在所述注意力模块被嵌入的位置之前的第一个层，所述参考层为所述图像处理模型中在所述第一个层之前的层，所述标记层和所述参考层用于对所述第一图像进行处理，以获得所述第一图像的不同特征图，所述注意力模块被配置为基于所述标记层的特征图中的查询特征，从所述参考层的特征图中获取被叠加在所述查询特征的全局特征，其中，所述全局特征被用于获得所述第二图像。

可选地，注意力模块可包括第一处理层和第二处理层，其中，第一处理层被配置为基于所述查询特征，获取所述查询特征与所述查询特征所关注的特征之间的偏移量；并且根据所述偏移量在所述参考层的特征图中采样与所述查询特征相关的参考特征，第二处理层被配置为通过对所述查询特征执行卷积运算来获得所述参考特征中每个参考特征的注意力权重；并且按照所述注意力权重对所述每个参考特征进行加权求和，以获得所述全局特征。

可选地，在所述图像处理模型中嵌入有多个注意力模块的情况下，针对当前注意力模块的参考层可包括所述图像处理模型的在所述当前注意力模块的位置之前的每个注意力模块被嵌入的位置之前的第一个层。

可选地，根据所述偏移量在所述参考层的特征图中采样与所述查询特征相关的参考特征，可包括：根据所述偏移量分别在由所述参考层的每个参考层的特征图中采样参考特征，其中，按照所述注意力权重对所述每个参考特征进行加权求和，以获得所述全局特征，可包括：针对所述每个参考层，按照所述注意力权重对从该参考层的特征图中采样的参考特征进行加权求和，以获得针对该参考层的全局特征；将针对所述每个参考层的全局特征进行累加以获得所述全局特征。

可选地，所述查询特征在特征图中位于整数坐标位置，在偏移量包含小数部分的情况下，该偏移量可被执行插值采样处理。