[发明专利]一种图像处理方法以及装置

说明书

本申请公开了人工智能领域的一种图像处理方法以及装置，用于对输入图像进行超分辨率处理，高效准确地得到更高清的图像。该方法包括：对第一图像进行分解，得到第一结构子图和第一细节子图，第一图像为视频数据中的除第一帧外的任意一帧图像；对第一隐状态信息和第一结构子图进行融合，得到第二结构子图，以及对第一隐状态信息和第一细节子图进行拼接，得到第二细节子图，第一隐状态信息包括从第二图像中提取到的特征，第二图像包括视频数据与第一图像相邻的至少一帧图像；基于第二结构子图和第二细节子图进行特征提取，得到结构特征和细节特征；根据结构特征和细节特征，得到输出图像，输出图像的分辨率高于第一图像的分辨率。

技术领域

本申请涉及人工智能领域，尤其涉及一种图像处理方法以及装置。

背景技术

超分辨率(super resolution，SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像。通过将低分辨率的图像上采样放大，借助图像先验知识、图像自相似性和多帧图像互补信息等手段填充细节，生成对应的高分辨率图像。超分辨率技术在高清电视、监控设备、卫星图像和医学影像等领域有重要的应用价值。

在现有方案中，在对中间帧进行分辨率提升时，输入中间帧及其前后近邻的2N个近邻帧，组成一个2N+1帧的输入帧序列，然后对输入帧序列进行运动补偿，将近邻帧对齐到中间帧，融合多帧信息，最后实现中间帧的超分辨率输出。然而，在此方案中，需要先将未来的N个近邻帧暂存起来，从而导致N帧的延迟，处理视频流等需要实时的应用时，会有明显的延迟，降低了用户体验，并且，需要同时对2N+1帧进行特征提取，所需的特征提取网络较复杂。

发明内容

本申请提供一种图像处理方法以及装置，用于对输入图像进行超分辨率处理，高效准确地得到更高清的图像。

有鉴于此，本申请第一方面提供一种图像处理方法，包括：首先，对第一图像进行分解，得到第一结构子图和第一细节子图，第一图像为视频数据中的除第一帧外的任意一帧图像，且第一频率低于第二频率，第一频率为第一结构子图所包括的信息的频率，第二频率为第一细节子图所包括的信息的频率，即第一结构子图所包括的信息的频率高于第一细节子图所包括的信息的频率；然后，对第一隐状态信息和第一结构子图进行融合，得到第二结构子图，以及对第一隐状态信息和第一细节子图进行拼接，得到第二细节子图，第一隐状态信息包括从第二图像中提取到的特征，第二图像包括视频数据与第一图像相邻的至少一帧图像；随后，基于第二结构子图和第二细节子图进行特征提取，得到结构特征和细节特征；随后，根据结构特征和细节特征，得到输出图像，输出图像的分辨率高于第一图像的分辨率。

因此，在本申请实施方式中，在进行视频数据的超分辨率处理的过程中，分解了结构分支和细节分支进行处理，并使用隐状态信息对结构和细节进行了进一步丰富，使最终得到的输出图像的结构和细节更丰富。无需缓存多帧对中间帧进行处理，可以高效地得到当前帧的高分辨率图像。

在一种可能的实施方式中，使用隐状态信息分别对第一结构子图和第一细节子图进行融合，得到第二结构子图和第二细节子图，可以包括：获取第一隐状态信息和第一图像的相似度矩阵，相似度矩阵中包括至少一个相似度，至少一个相似度用于表示第一隐状态信息所包括的图像区域和第一图像中的图像区域之间的相似程度；根据相似度矩阵对第一隐状态信息进行过滤，得到第二隐状态信息，第二隐状态信息中每个图像区域与第一图像中对应的图像区域的相似程度，高于第一隐状态信息中每个图像区域与第一图像中的图像区域的相似程度；使用第二隐状态信息对第一结构子图进行拼接，得到第二结构子图，使用第二隐状态信息对第一细节子图进行拼接，得到第二细节子图。

因此，本申请实施方式中，在使用第一隐状态信息时，可以过滤其中的冗余信息，使用过来后的隐状态信息分别对第一结构子图和第一细节子图进行融合，可以得到细节更丰富的第二结构子图，以及结构更丰富的第二结构子图。