[发明专利]基于NVIDIA GPU平台的最佳邻域匹配并行图像恢复方法

说明书

技术领域

本发明涉及一种基于NVIDIA GPU平台的最佳邻域匹配并行图像恢复方法，涉及图形图像领域，尤其涉及图像的恢复。

背景技术

近几十年中，数字图像处理和网络媒体的研究和应用得到了飞速发展，人们对数字图像和视频的质量要求越来越高。图像在传输过程中不可避免地会产生传输错误，为此，人们提出了许多方法来提高信道的可靠性，期望获得质量有保证的图像和视频。解决这一问题的另一方法是，从图像自身角度考虑，利用已接收到的图像，根据图像自身的相关性，用正常接收到的图像像素对受损像素进行恢复。这一方法正是差错掩盖技术的主要思想。最佳邻域匹配算法受到分形理论的启发，利用了图像块与块之间的相似性对图像进行恢复和重建。最佳邻域匹配算法对在传输过程中受损的图像进行恢复，图像的恢复效果好，能得到质量较高的恢复图像，但是算法本身计算量很大，执行效率不高。

在图形图像领域中，可以使用差错补偿技术(Error Concealment)对坏块进行图像恢复。在众多的图像恢复方法中，最佳邻域匹配(BNM，Best Neighborhood Matching)算法效果较好。该算法不仅利用了相邻块的像素信息，还利用了远程块的像素信息，因此恢复效果较好。

图1说明了BNM算法的操作过程，黑色块表示一个坏块(大小为x1*x2像素)，围绕在坏块周围的像素点((x1+2)*(x2+2)像素)称为界限窗口。以界限窗口为中心，形成一个大小为r1*r2的搜索区域(称为搜索窗口)，在搜索区域中以每次1个像素的步距不断形成远端窗口，远端窗口与局域窗口具有相同的形状和大小。在坏块的搜索窗口内找到一个和坏块大小相等并且最匹配的远端窗口来替换坏块。从左上角逐步搜索，每次移动一步，搜索完毕后找到最佳匹配的远端窗口块。在这种方式下，一幅图像中的所有坏块可逐个得到恢复。

自从2006年NVIDIA公司推出图形处理器G80(包含了128个流处理器SP，最新的G200包含了240个流处理器SP)以来，GPU在某些大规模并行计算的应用上，相对于CPU来说性能提高可达100倍以上。尤其从2008年5月，NVIDIA推出用于GPU的开发平台CUDA SDK 1.1以来，基于GPU平台的并行计算得到了大规模的推广。CUDA为GPU计算提供了统一计算设备架构，使用户很容易地将GPU编程融于传统的编程工具(如：Visual Studio，gcc等)和语言(如：C，C++，FORTRAN等)中。在短短的一年以来，CUDA被应用于加速大规模并行计算领域的许多问题，如在图像处理，物理模型模拟(如计算流体力学)，工程和金融模拟与分析，生物医药工程，数据库、数据挖掘，搜索，排序等方面都有很好的应用，在很多应用中取得了1-2个数量级的加速。

GPU拥有更多的晶体管用于数据处理而不是去处理数据cache和指令控制，这意味着GPU具有巨大的并行计算能力。在GPU中，单一的数据处理单元为流处理器(SP)，8个流处理器组成一个流处理器组(SM)，一个GPU有多个流处理器组，每个流处理器组除了有8个流处理器，还有一些caches(纹理存储器，常量存储器，共享存储器)和两个特殊功能单元(SFU)。片外全局存储器用来存储数据并实现CPU和GPU之间的数据传递。

CUDA(Compute Unified Device Architecture，计算统一设备架构)作为GPU的并行编程语言。CUDA编程把CPU称之为主机，GPU作为一个协处理器被称为设备。CUDA编程中，多个线程同时执行在GPU上，多个线程组成一个线程块，多个块又组织成网格，另外，每32个线程组成一个warp。CUDA编程中常用到的优化技术有合理的网格配置，每个SM上足够多的warp隐藏访问延迟，全局存储器的合并访问，共享存储器的使用，纹理存储器和常量存储器的使用，寄存器的合理使用等等。

最佳邻域匹配(BNM)算法在所有图像恢复算法中恢复效果较好，但计算量大，需要提高运算效率。目前，国内外对BNM的研究也有很多，主要都是针对BNM的全搜索法进行了改进，提出了不同的算法，如：两步最优邻域匹配(Two-Step Best Neighborhood Matching，TSBNM)算法、基于进化策略的BNM算法(ES_BNM)、跳跃环顾最优邻域匹配(Jump and Look Best Neighborhood Matching，JLBNM)算法、改进的跳跃环顾BNM算法(Improved JLBNM，IJLBNM)等。这些改进都只是基于CPU上算法的改进，性能虽有数倍的提高，但进一步提高性能变得越来越困难。