[发明专利]基于FPGA的红外成像非均匀性校正系统

摘要

本发明公开了一种基于FPGA的红外成像非均匀性校正系统。其包括输入帧缓存器(1)、输出帧缓存器(2)、外部存储控制器(3)和神经网络模块(4)；该神经网络模块(4)包括校正子模块、预测图像计算子模块、新参数计算子模块、投影法运动估计子模块和二选一选择器。输入帧缓存器接收并缓存原始图像；外部存储控制器读入校正参数；校正子模块校正原始图像并通过输出帧缓存器缓存；预测图像计算子模块计算预测图像并通过新参数计算子模块计算新校正参数；投影法运动估计模块和二选一选择器选择参数更新，以校正下一帧原始图像。本发明解决现有技术中的“鬼影”和图像模糊问题，可用于实时校正红外图像的非均匀性。

主权项

一种基于FPGA的红外成像非均匀性校正系统，其特征在于包括：输入帧缓存器(1)、输出帧缓存器(2)、外部存储控制器(3)和神经网络模块(4)；所述输入帧缓存器(1)，用于从外部接收并缓存完整的一帧M×N像素大小的原始图像，其中每个像素的灰度值是一个8bit位宽的整型数据；所述输出帧缓存器(2)，用于在系统中缓存一帧完整的校正后图像，并输出校正后的图像数据；所述外部存储控制器(3)，用于控制FPGA外接的第一存储器SRAM1和第二存储器SRAM2的工作状态，并负责与神经网络模块(4)进行数据通信；所述神经网络模块(4)，包括校正子模块(41)、预测图像计算子模块(42)、新参数计算子模块(43)、投影法运动估计子模块(44)和一个二选一选择器(45)；该校正子模块(41)，用于从输入帧缓存器(1)中依次读取原始图像第i行第j列像素位置的数据Ib(i,j)，同时从外部存储控制器(3)中接收该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j)，计算该像素位置的校正后图像数据Io(i,j)，i＝1,2,…,M，j＝1,2,…,N，M为图像的总行数，N为图像的总列数；该预测图像计算子模块(42)，用于从输入帧缓存器(1)中依次读取原始图像第i行第j列像素位置的数据Ib(i,j)，并计算该像素位置的预测图像数据Id(i,j)；该新参数计算子模块(43)，用于从输入帧缓存器(1)中依次读入原始图像第i行第j列像素位置的数据Ib(i,j)，同时从外部存储控制器(3)中获得该像素位置的当前增益参数G(i,j)和当前偏置参数O(i,j)，并从校正子模块(41)中读取该像素位置的校正图像数据Io(i,j)，再从预测图像计算子模块(42)中读取该像素位置的预测图像数据Id(i,j)，最终计算出该像素位置的新增益参数G1(i,j)和新偏置参数O1(i,j)；该投影法运动估计子模块(44)，用于从输入帧缓存器(1)中依次读入原始图像第i行第j列像素位置的数据Ib(i,j)，判断当前图像中是否存在运动物体，并输出判别信号f来表示判断结果：如果图像中存在运动物体，则判别信号f输出为1，否则输出为0；该二选一选择器(45)，用于根据投影法运动估计子模块(44)输出的判别信号f来选择参数进行更新：如果判别信号f为1，则选择新参数计算子模块(43)输出的新增益参数G1(i,j)和新偏置参数O1(i,j)传送到外部存储控制器(3)，并分别写入第一存储器SRAM1和第二存储器SRAM2，实现校正参数的更新；如果判别信号f为0，则外部存储控制器(3)接收自身输出的当前增益参数G(i,j)和当前偏置参数O(i,j)，并分别写入第一存储器SRAM1和第二存储器SRAM2，保持校正参数不变；所述预测图像计算子模块(42)包括：两个平方运算单元(42a，42b)、四个均值滤波器(42c，42d，42e，42f)、一个整型减法器(42g)、两个类型转换器(42h，42i)、两个浮点加法器(42j，42k)、两个浮点乘法器(42l，42m)、一个浮点除法器(42n)和一个浮点减法器(42o)，其中：第一平方运算单元(42a)，用于对原始图像第i行第j列像素位置的数据Ib(i,j)进行平方操作，并将第一平方值Ib(i,j)2传输给第二均值滤波器(42d)进行均值滤波，再将第二滤波结果mII传输给整型减法器(42g)；第一均值滤波器(42c)，用于对原始图像第i行第j列像素位置的数据Ib(i,j)进行均值滤波，并将第一滤波结果mI分别传输给第二平方运算单元(42b)、第二类型转换器(42i)和浮点减法器(42o)，通过第二平方运算单元(42b)对第一滤波结果mI执行平方操作，并将第二平方值传输给整型减法器(42g)；该整型减法器(42g)，将第二滤波结果mII与第二平方值的差值vI传输给第一类型转换器(42h)，再将差值vI转换为浮点差值数据vf后分别传输给第一浮点加法器(42j)和浮点除法器(42n)，通过第一浮点加法器(42j)，对常数ε＝0.04和浮点差值数据vf求和，并将求和值vm传输给浮点除法器(42n)；该浮点除法器(42n)，将浮点差值数据vf除以求和值vm得到参数a，并将参数a分别传输给第三均值滤波器(42e)和第一浮点乘法器(42l)，通过第三均值滤波器(42e)对参数a进行均值滤波，并将第三滤波结果ma传输给第二浮点乘法器(42m)；第二类型转换器(42i)，将第一滤波结果mI转换为浮点滤波数据mf后传输给第一浮点乘法器(42l)，再将浮点滤波数据mf和参数a的乘积值am传输给浮点减法器(42o)，并由第一滤波结果mI与乘积值am相减得到参数b，再将参数b传输给第四均值滤波器(42f)进行均值滤波，并将第四滤波结果mb传输给第二浮点加法器(42k)；第二浮点乘法器(42m)，用于接收原始图像第i行第j列像素位置的数据Ib(i,j)，并将原始图像数据Ib(i,j)和第三滤波结果ma的乘积值Ia传输给第二浮点加法器(42k)，再对乘积值Ia和第四滤波结果mb求和得到预测图像数据Id(i,j)，并传输给新参数计算子模块(43)。