[发明专利]基于FPGA的实时超分辨方法及系统

权利要求书

1.一种基于FPGA的实时超分辨方法，包括如下步骤：

1)将当前帧图像按步长拆分成子图像，通过测量函数计算每个子图像的特征值；每个子图像的特征值由全变分TV值判定，采用全变分TV分类方法作为掩蔽测量M；具体将当前帧图像裁剪成N×N像素的子图像，对于每个子图像，通过测量函数M：R^N×N→R计算特征值；

2)设定特征值阈值，将当前帧子图像进行分配，通过计算得到高分辨率图像：

若特征值高于设定的阈值，则通过神经网络进行计算；否则采用插值方法进行计算；

3)将经过步骤2)由神经网络或由插值方法计算得到的高分辨率图像输出，并根据步骤1)的拆分顺序重新组合成高分辨率图像；

4)上述步骤1)～3)中的全部或部分在FPGA上实现：通过FPGA综合工具以流水线的形式配置成FPGA的计算电路，每一步骤为流水线的一个阶段；或将其中一个或多个步骤通过FPGA综合工具配置成FPGA的计算电路，进行局部的加速；

由此实现基于FPGA的实时超分辨。

2.如权利要求1所述基于FPGA的实时超分辨方法，其特征是，步骤1)具体采用具有各向异性的全变分TV值；具体将N×N子图像视为Z中的二维矩阵，其中Z是欧几里得空间R^N×N；引入离散梯度算子Z→Z×Z定义离散的TV；如果x∈Z，是Z×Z中的一个向量，由式1表示：

其中：

其中i，j＝1，2，...，N；

总的TV值被定义为式2：

其中，||y||₁＝|y₁|+|y₂|，对于y＝(y1，y2)∈R²；

具体采用微体系结构将访存与计算解耦；访存包括TV计算中所有变量值的获取和更新；计算包括变量值之间的运算；微体系结构包括配备内存控制器和数据互连的缓冲系统；缓冲系统彼此独立；在每个缓冲系统中，FIFO提供的存储与常规数据复用缓冲区相同，FIFO之间的数据路径分离器和滤波器用作内存控制器和数据互连；每个缓冲系统接收一个数据流，无需额外的外部存储器访问；

在计算开始之前，控制器首先读入数据并将FIFO填充多个时钟周期；然后在每个时钟周期中，滤波器将所需数据发送到计算内核，内核消耗所有数据以生成一个输出，控制器将所有缓冲数据向前移动；直到迭代域结束。

3.如权利要求1所述基于FPGA的实时超分辨方法，其特征是，步骤2)神经网络采用沙漏形卷积神经网络FSRCNN-s；

将FSRCNN-s的卷积层表示为Conv(c_i，f_i，n_i)，将反卷积层表示为DeConv(c_i，f_i，n_i)，其中变量c_i，f_i和n_i分别代表信道数量，滤波器尺寸和滤波器数量；将FSRCNN-s分解为多个阶段/层；

所述卷积层和反卷积层可在FPGA上以流水线的形式统一实现，每个层为流水线一个阶段；或将一个或多个卷积层和反卷积层在FPGA上单独实现。

4.如权利要求3所述基于FPGA的实时超分辨方法，其特征是，将FSRCNN-s分解为五个阶段/层，包括：

a1)特征提取Conv(1，5，32)：使用大小为5×5的滤波器从原始LR图像中提取32个特征映射；

a2)缩小Conv(32，1，5)：使用大小为1×1的滤波器将LR特征维度从32减少到5；

a3)映射Conv(5，3，5)：使用大小为3×3的滤波器非线性地将LR特征映射到HR特征上；

a4)扩展Conv(5，1，32)：使用大小为1×1的滤波器将HR特征维度从5扩展到32；

a5)反卷积DeConv(32，9，1)：使用大小为9×9的滤波器上采样并聚合先前的特征。