[发明专利]一种实现图像尺寸放大的上采样装置及其方法

说明书

本发明提供了一种实现图像尺寸放大的上采样装置及其方法。其装置包括数据存储单元、数据传输单元、数据接收单元、卷积运算单元、读控制单元和写控制单元。本发明提供的实现图像上采样的方法，可以对不同尺寸图像、不同类型的图像进行处理，同时采用了流水化、模块化的思想，通过对处理的图像数据进行分块处理，重复使用分块中部分数据，例如分块的某一行及某一列，以避免卷积操作造成的图像的信息损失，提升了图像上采样的效果，也减少了硬件资源的开销。

技术领域

本发明涉及一种针对图像处理中实现尺寸放大的上采样装置和方法，属于图像处理技术领域。

背景技术

在图像处理算法中，需要在不损失图像信息的情况下，将现有图像缩放至合适尺寸，其中放大图像以将其显示在更高分辨率的显示设备上的操作就是上采样。图像上采样的方法包括线性插值、反卷积(transposed convolution，其实也是一种特殊的正向卷积)、反池化(unpooling)等，通过将输入图像进行补零，来扩大图像尺寸，接着与特定卷积核进行卷积，从而达到还原原来图像尺寸的目的。

具体而言，线性插值分为最近邻插值算法、双线性插值、双三次插值算法，最近邻插值即在像素点周围插上与该像素点灰度完全相同的像素，采用该方法的缺点在于容易在图像上产生马赛克块，成像效果不佳，优点是计算量小，处理速度快；双线性插值是将图像的横向和纵向看作x轴和y轴，在x轴和y轴方向依次做线性变换，经过两次线性变换之后，在待插像素点处插入所求像素值，优点在于处理速度居中，效果也优于最近邻插值，但是会使得图像的细节产生退化；双三次插值，通过对距离待求像素点最近的十六个采样点的值做加权平均，优点在于图像处理效果最佳，但是处理速度也最慢，计算复杂度高。

另外就是基于深度学习的方法，转置卷积对于输入数据只是执行了常规的卷积操作，但是可以重建图像先前的空间分辨率，可以实现图像的粗粒化效果，且参数可学习，很适合用于编解码器中；反池化的做法比较简单，分为反平均池化和反最大池化，反平均池化就是将平均池化操作所生成的平均值补位到待求像素点处，反最大池化就是在最大池化像素点处保留像素值，在待求像素点处补零，由于反池化操作只能通过补位来实现信息的相对完整，所以是会存在图像信息丢失的问题。

发明内容

为了能够在较小的硬件开销下，更好地实现图像像素尺寸的还原，本发明对图像处理的具体过程和方法进行了一定的优化，减少图像的搬运重叠，并为之提出了一种具体的装置和方法。

本发明装置采用的技术方案如下：

一种实现图像尺寸放大的上采样装置，包括：总控制单元，用于协调控制不同单元的工作时序；

读控制单元，用于配置图像数据存储的起始地址和突发传输长度，并采用分块读取的策略从数据存储单元读取数据；

写控制单元，用于配置数据写入数据存储单元的地址信息和传输长度，并将卷积运算单元的运算结果数据写入数据存储单元；

数据传输单元，用于传输数据；

数据存储单元，用于存储待处理的图像数据，以及接受卷积运算单元的运算结果；

数据接收单元，用于接收数据传输单元的数据，并对输入的图像数据进行插零和补零操作；

卷积运算单元，用于读取数据接收单元经插零和补零操作后的图像数据，并进行卷积运算。

进一步地，所述数据传输单元采用FIFO。

进一步地，所述数据存储单元采用DRAM存储器，当读控制单元发起读数据请求时，数据存储单元将需要送出的数据经由数据传输单元传输至数据接收单元，当写控制单元发起写数据请求时，数据存储单元将卷积运算单元的运算结果写入数据存储单元。