[发明专利]基于FPGA的实时超分辨方法及系统

说明书

本发明公布了一种基于FPGA的实时超分辨方法及系统，涉及图像处理技术领域；将较低分辨率的媒体中的每帧图像拆分成子图像进行超分辨处理，并根据当前帧子图像的特征值分配处理模块：若特征值较高，则由神经网络模块计算；若特征值较低，则由插值模块计算。输出缓冲区将计算得到的高分辨率子图像输出并重组成高分辨率图像，用户便可以观看到实时的超高清晰度画面。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于现场可编程门阵列(FPGA)的实时超分辨方法及系统。

背景技术

超高清(UHD)技术正在显著地改变着媒体行业，目前高分辨显示器占据了市场主导地位。然而，超高清媒体资源供应有限，并且由于网络带宽不足导致访问困难，用户 实际体验仍然一般。因此，将1920×1080的传统高清(2K FHD)视频高效地升级到4K 超高清分辨率(3940×2160)意义重大。从低分辨率输入估算细粒度分辨率图像/视频的 技术通常被称为超分辨，在图像处理和计算机视觉领域，这个基本问题非常具有吸引力。

基于现场可编程门阵列(FPGA)的神经网络加速器由于具有比GPU更高的能效， 和比专用集成电路(ASIC)更短的开发周期而逐渐受到广泛关注。由于卷积运算经常占 据神经网络总操作的很大比例，以往的大部分工作都集中在优化卷积上。许多加速器专 注于提高计算效率，通过提高并行度，计算序列(流水线)和基于循环展开和循环优化 等技术实现的计算-通信平衡。人们还在努力减少计算需求，通过频域加速，二值化/变 形网络和网络压缩，还提出了硬件抽象和端到端自动化框架等方法。

已有的基于迭代反投影算法的实时超分辨率技术结合并修改了基于模型的超分辨 率算法，假设帧之间具有相同的模糊效果(用于计算效率)，以及使用L1最小化的迭 代算法。该方法使用固定点精度，并为实时提出了高度流水线的架构。

目前，超分辨最直接的实现方法是插值算法，包括最近邻、双线性、双三次以及Lanczos算法。这些算法通常运行速度快且易于实现，但也不可避免地会产生模糊的结 果。基于模型的方法旨在根据观测模型和先验(正则化)来恢复高分辨率场景，现有技 术大多假定已知的模糊核和噪声水平，但实际情况中模糊核和噪声水平可以是任意的， 假定已知给实际应用造成了困难，效果不佳。基于神经网络的超分辨往往运算代价大， 在对视频实时处理时往往会面临输出帧率不足的问题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于FPGA的实时超分辨方法及系统，将较低分辨率的媒体中的每帧图像拆分成子图像，并根据其特征值，将当前帧子 图像分配：若特征值较高，则由神经网络模块计算；若特征值较低，则由插值模块计算。 输出缓冲区将计算得到的高分辨率图像输出并重组成高分辨率图像，用户便可以观看到 实时的超高分辨率画面。

本发明的技术方案是：

一种基于FPGA的实时超分辨方法，可全部或部分在FPGA上实现，包括如下步骤：

1)首先将当前帧图像按步长拆分成子图像，通过测量函数计算每个的特征值；

优选地，特征值由全变分(TV)值判定。

具体地，将当前帧图像裁剪成N×N像素的子图像，对于每个子图像，通过测量函数M:R^N×N→R计算其特征值；

采用全变分(Total Variation,TV)分类方法作为掩蔽测量M。为了简化计算，采用具有各向异性的TV值。将N×N子图像视为Z中的二维矩阵，其中Z是欧几里得空间R^N×N。 为了定义离散的TV，引入了离散(线性)梯度算子Z→Z×Z。如果x∈Z，是Z×Z 中的一个向量，它由式1给出：

其中：