[发明专利]用于确定高分辨率输出图像的方法和设备

说明书

技术领域

本发明涉及使用基于语义技术的图像增强。

背景技术

数字图像典型地表现为像素阵列。类似地，数字视频典型地表 现为一系列图像或帧，每一图像或帧均含有像素阵列。每一像素包 含信息，如亮度和/或颜色信息。在许多情况下，每一像素表现为 三种颜色的组合，每种颜色被定义为八位色值。

在许多情况下，图像和/或视频编码和/或传输系统降级图像内 容的质量以降低存储需要和/或传输所需的带宽。在编码和/或传输 图像和/或视频后，对图像和/或视频使用恢复技术，以试图从低级 版本恢复到高质量的原始图像内容。图像内容的降级发生的原因有 很多，比如举例来说，图像传输、图像编码、采集或显示设备的限 制等等。另一方面，降级后的图像增强试图改善图像和/或视频的 呈现。

在其它情况下，以初始较低分辨率提供图像内容，例如逐行扫 描或隔行扫描(比如，720×480像素)。图像内容可以是以非降级 方式或降级方式提供的。较低分辨率图像内容可以某种方式增强以 适合在具有比该较低分辨率图像内容更高分辨率的显示器上显示， 比如4K显示器(比如,3840×2160像素)。

图像和/或视频的恢复和/或增强通常是图像/视频显示系统，特 别是大尺寸显示器中的处理步骤。目的之一可能是为了恢复和增强 图像和/或视频中重要成分的视觉呈现，比如边缘、纹理和其它细 节。另一个目的是限制在恢复和增强期间引入有害视觉伪影和/或 放大已存在的伪影。一个具体的例子是限制引入或放大图像和/或 视频中已存在的噪声，比如照相机噪音或压缩噪音。另一个例子是 限制引入边缘或轮廓附近的伪影，它们被称为“光晕(halo)”、“下 冲(undershoot)”和“过冲(overshoot)”。

许多不同的技术已被用于尝试进行图像(包括视频)细节增强， 以恢复图像。许多这类技术基于采用拉普拉斯金字塔(Laplacian pyramid)的分层框架将图像分解为多个图层，包括一个平滑的低 频图像和其它高频成分。然后每个图层被增强并结合到一起形成增 强图像。在分解图像时，可以使用边缘保护技术来减小光晕影响。

另一个进行图像细节增强的技术涉及采用双边滤波器来获得 图像在多重光照条件下的不同成分，并通过结合这些成分来增强图 像的细节。可以修改双边滤波器的范围以同时进行细节增强和噪声 去除。另一个技术包括从多个尺度上的局部极值获得图像振荡的信 息，并利用这些信息来构建用于增强图像细节的层级。还有一个技 术涉及使用小波来构建多分辨率分析框架，以将图像分解为平滑成 分及其细节成分，其中小波是根据图像的边缘内容来具体构建以减 小光晕影响。

另一个进行图像细节增强的技术采用滤波器来进行图像的多 尺度分解。该滤波器是边缘保护性的，并且平滑化基于加权最小二 乘法(WeightedLeastSquares，即WLS)优化框架。这在数学上表示 为计算下式的最小值，