[发明专利]一种变分光流FPGA实现方法、系统、存储介质、终端

说明书

本发明属于计算机视觉处理技术领域，公开了一种变分光流FPGA实现方法、系统、存储介质、终端，对两帧输入图像的预处理，包括图像色彩空间转换和图像去噪，输出为两幅预处理后的图像；预处理后的图通过图像邻域像素计算出当前像素的水平方向梯度、垂直方向梯度；同时，通过两帧图像中对应位置的像素计算出时间方向的梯度；根据图像预处理模型、图像梯度计算模型的输出，计算出变分光流计算所需的大型线性方程组的参数；通过迭代计算模型对最终的光流输出进行求解。本发明能够极大地缩短光流算法在FPGA硬件上的应用开发时间，各个模块相互独立，易于裁剪、扩充和维护，能够极大地提高变分光流算法的运算速度，能够达到实时应用的目的。

技术领域

本发明属于计算机视觉处理技术领域，尤其涉及一种变分光流FPGA实现方法、系统、存储介质、终端。

背景技术

目前，计算机视觉是一门主要研究如何利用图像进行表达的学科。作为计算机视觉的分支，光流估计是一种广泛应用的像素运动表示方法，是计算机视觉领域最基础、最广泛的问题之一。目前主流的光流估计方法是基于变分优化技术的光流算法。变分优化技术将光流估计问题描述为目标能量函数的最小化问题，通过对目标能量函数的求解，将最终的问题转化为一个超大型线性方程的求解问题。典型的变分光流技术通常包括预处理、线性方程组构建、方程求解等步骤，这些步骤计算复杂度相当高。常见的的变分光流实现主要基于C/C++、Matlab等高级语言进行实现，由于变分光流极高的计算复杂度导致基于高级语言的实现运行速度慢，从而应用场景受限。针对采用高级语言实现的变分光流算法速度慢的问题，通常将算法分为多个模块，在通用处理器上采用多线程技术实现多个模块的同时运行，以提高处理器利用率。FPGA(FieldProgrammable GateArray可编程逻辑门阵列)能够有效实现多个模块的并行加速，是硬件加速很好的选择。但是对于变分光流技术来说，传统的FPGA开发方式实现难度高，架构设计困难，难以满足算法的快速更新迭代。针对以上问题，目前需要一种新的方法，使之能很方便地提高变分光流算法的运算速度，并且能够快速进行算法的实现。

通过上述分析，现有技术存在的问题及缺陷为：

(1)目前的变分光流技术通的计算复杂度相当高，基于高级语言的实现运行速度慢，应用场景受限。

(2)传统的FPGA开发方式实现难度高，架构设计困难，难以满足算法的快速更新迭代。

解决以上问题及缺陷的难度为：

(1)基于高级语言设计的算法通常以帧为单位进行处理，而基于FPGA实现的算法通常以像素为单位进行处理，需要将基于帧处理的算法转化为基于像素流处理的算法。

(2)传统的多线程加速方式需要将算法分解成可并行化的多个步骤，然后用多个线程同时进行运算。而FPGA基于寄存器、逻辑电路来描述基于数据流结构的算法，相当于采用更多的线程来同时计算，需要将算法分解为更加精细的计算步骤。

(3)传统的FPGA开发采用硬件描述语言来描述算法的硬件结构，而FPGA开发需要经验丰富的硬件工程师来实现，通常FPGA开发工程师与算法工程师之间的沟通需要浪费大量的时间。

解决以上问题及缺陷的意义为：

(1)直接地，将变分光流算法应用到FPGA硬件上，能够拓展变分光流算法在嵌入式场景的应用范围。

(2)间接地，变分光流算法的FPGA实现能够加速一些需要光流计算结果的计算机视觉算法在嵌入式场景的应用范围。

(3)另外，采用基于模型设计的方法实现光流算法在FPGA上的实现，能够很容易地进行算法的仿真、调试，并能自动生成高效的硬件描述代码，避免了手工编写代码过程中大意出错的问题。同时，采用基于模型设计的方法对于其他计算机视觉算法的FPGA硬件实现能够提供有益参考。

发明内容