[发明专利]图像处理方法及非暂时性计算机可读介质

说明书

示例实施例可以允许关于参考图像的图像数据的高效的边缘保持的过滤、上采样或其他处理。从输入阵列生成输出图像的成本最小化问题被映射到多维顶点空间中的规则间隔的顶点。该映射基于参考图像的像素与顶点之间以及输入阵列的元素与参考图像的像素之间的关联。问题然后被求解以确定每个顶点的顶点视差值。输出图像的像素可以基于与每个像素关联的相应一个或多个顶点的所确定的顶点视差值来确定。这种快速、高效的图像处理方法可以用来实现边缘保持的图像上采样、图像着色、图像内容的语义分割、图像过滤或去噪声或其他应用。

相关申请的交叉引用

本申请要求于2015年11月5日提交的美国临时专利申请第62/251,608号的优先权并且通过引用并入其内容。

技术领域

本申请通常涉及边缘感知的双边图像处理，更具体地，涉及图像处理方法及非暂时性计算机可读介质。

背景技术

当对自然场景的图像执行图像处理时，考虑离散的人、动物、植物、物体、建筑物或这样的图像的其他内容的位置和边界可能是有益的。这样的图像处理任务可以包括图像数据的过滤(例如，去除噪声或伪像)、图像的着色，确定关于图像的内容的信息(例如，图像中的每个像素的深度、分配到图像中的每个像素的语义类别标签)或一些其他图像处理任务。例如，在对图像着色时，将少量手动指定的色彩值应用到对象的其余部分以生成图像的着色版本可能是有益的。在另一示例中，对图像的深度图(例如，从立体图像对确定的、或由与相机或其他图像生成装置对准的深度传感器生成的深度图)进行过滤和/或上采样可能是有益的。这样的图像处理任务可能是计算密集的(例如，需要大量的时间、存储器或其他计算资源)。开发执行这种图像处理任务的改进方法可能是有益的。

发明内容

自然场景的图像(例如，建筑物内的图像或室外区域的图像)通常包括人、动物、建筑物、植物或其他离散物体。以尊重图像内的这些对象的边界的方式过滤、上采样或以其他方式操纵色彩信息或与图像有关的其他数据可能是有益的。例如，当对图像着色时，人可以手动指定图像内的区域或对象的色彩。然后可以将这些手动指定的色彩应用于图像的相邻区域，而不会跨过图像内的边缘。在另一示例中，对应于场景的可见光图像的场景的低分辨率红外图像可以被上采样，以生成场景的更高分辨率的红外图像。这种上采样可以基于可见光图像，使得上采样的红外图像在场景的对象内是平滑的，但是可能在场景内跨对象的边缘突然改变。快速过滤、上采样或以边缘保持方式操纵这些信息的能力在各种其他应用中可能是有益的。

在第一方面，一种方法包括：(i)通过计算系统获得(1)由相机设备捕获的参考图像和(2)目标阵列，其中所述参考图像包括多个像素，所述多个像素在所述参考图像中具有各自的像素位置和各自的色彩变量，其中目标阵列包括目标值，并且其中目标值分别对应于参考图像的像素；(ii)由计算系统将参考图像的像素与顶点空间中的各个顶点关联，其中顶点空间包括两个空间维度和色彩空间维度，其中参考图像的像素与各个顶点之间的关联由关联矩阵定义，其中所述关联矩阵包括多个值，多个值中的少于一半是非零的；(iii)由计算系统将目标值与各个顶点关联，参考图像的与目标值对应的像素是与所述各个顶点关联的；(iv)由所述计算系统基于以下来确定顶点成本矩阵：(1)参考图像的像素和各个顶点之间的关联，以及(2)参考图像的像素对之间的相似度，其中，参考图像的特定像素对之间的相似度与参考图像中的该特定像素对的像素位置之间的距离、以及参考图像的该特定像素对的色彩变量之间的色彩空间维度中的距离相关；(v)由计算系统通过求解由顶点成本矩阵和顶点成本向量定义的线性系统来确定顶点的各个顶点拟合值；以及(vi)由所述计算系统生成过滤的输出图像，其中所述过滤的输出图像包括分别对应于所述参考图像的像素的像素，其中生成所述过滤的输出图像包括使用与所述参考图像的像素关联的顶点的所确定的顶点拟合值作为基础来确定过滤的输出图像的各个像素。