[发明专利]使用迭代协同滤波的图像超分辨率的系统和方法

说明书

公开了用于提供图像分辨率增强的系统和方法的各种技术。例如，一种方法包括：接收场景的原始图像(例如，可见光图像)，其包括由像素坐标标识的图像像素；将原始图像的尺寸调整为更大的尺寸，其中经调整尺寸的图像被划分成第一多个参考块；通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：将高频数据注入到经调整尺寸的图像中，从经调整尺寸的图像中提取满足相对于参考块的互相似条件的第一多个匹配块，并且基于参考块与第一多个匹配块之间的相关性来调整参考块的高频数据。还公开了一种被配置为执行这种方法的系统。

相关申请的交叉引用

本申请要求于2016年1月16日提交的题为“使用迭代协同滤波的图像超分辨率的系统和方法(SYSTEMS AND METHODS FOR IMAGE SUPER-RESOLUTION USING ITERATIVECOLLABORATIVE FILTERING)”的美国临时专利申请No.62/279,743的权益，该申请的全部内容通过引用并入本文中。

技术领域

本发明的一个或多个实施例总体涉及成像处理，更具体地，涉及例如增强图像的分辨率。

背景技术

已经开发了超分辨率技术来增强成像系统或由这种系统捕获的图像的分辨率。然而，常规的超分辨率技术要么需要大量的训练时间和处理资源(例如，处理时间、内存空间、数据存储空间等)，比如那些基于在字典中编译的外部训练数据的技术，要么产生差的分辨率增强质量，例如那些在同一图像中选择最佳匹配贴片(patch)以估计高频数据的技术。因此，常规的超分辨率技术不足以高效地显示将在真实的更高分辨率版本的图像中捕获的真实结构细节和清晰度。

常规的超分辨率技术的这些缺点通常使它们不适合于具有有限处理资源的设备(比如安全摄像系统、便携式设备等)以实现期望的图像分辨率。因此，需要改进的超分辨率技术，用于在不消耗大量处理资源的情况下产生高质量的超分辨率图像。

发明内容

公开了用于增强图像的分辨率、清晰度和/或信噪比(SNR)以提供更清晰、更易于理解、视觉上更加令人愉悦、内容更丰富的图像和视频以供观看和进一步图像处理的系统和方法的各种技术。例如，在一个实施例中，一种方法包括：将原始图像的尺寸调整为更大的尺寸，经调整尺寸的图像具有大于原始图像的图像尺寸的图像尺寸，并且经调整尺寸的图像被分为第一多个参考块；通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：将高频数据注入到经调整尺寸的图像；对于每个参考块，从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块；并且基于该参考块与第一多个匹配块之间的相关性来调整参考块的高频数据。

根据本发明的实施例，可以使用各种技术来生成注入到经调整尺寸的图像中的高频数据。例如，可以基于经调整尺寸的图像的像素数据来生成高频数据。具体地，可以基于经调整尺寸的图像和原始图像之间的差来生成高频数据。

除了调整参考块的高频数据之外，根据一个实施例的方法还调整第一多个参考块的高频数据。在这些实施例的一些中，该方法将参考块和第一多个匹配块的高频数据作为一组一起进行共同调整，以便保留该组中一致的高频数据的分量，同时去除该组中不一致的高频数据的分量。

在这方面，参考块和第一多个匹配块被布置为形成像素的三维(3D)阵列。例如，匹配块和参考块可以在彼此的顶部上对齐以形成3D像素阵列的堆叠。然后对3D像素阵列执行3D变换。可以对3D像素阵列执行各种3D变换。3D变换可以包括以下各项中的至少一个：离散余弦变换、哈尔变换(Haar Transform)、恒等变换(Identity Transform)或其任何组合。在一些实施例中，3D变换包括二维(2D)图像变换和一维(1D)图像变换。例如，2D图像变换可以应用于沿着3D像素阵列的第一维度和第二维度的像素值，并且1D图像变换可以应用于沿着3D像素阵列的第三维度。该方法还包括至少部分地基于对应的系数标准偏差来修改每个3D频谱中的至少一些谱系数，并且对3D频谱应用逆变换以生成用于经调整尺寸的图像的高分辨率估计。