[发明专利]TDI-CMOS图像传感器FPN校正方法

摘要

本发明涉及图像处理领域，为实现通用性的去除图像中条纹噪声,尤其实现有效消除TDI‑CMOS图像传感器输出图像中交织在一起的横条纹和竖条纹。本发明采用的技术方案是，TDI‑CMOS图像传感器FPN校正方法，假设FPN和随机噪声都是加性噪声，而且两者不相关，对于给定的已制造完成的TDI‑CMOS图像传感器芯片，假设其FPN对应的灰度值在相同工作环境下是相等的，随机噪声服从均值为零的高斯分布；首先需要采集样本图像数据，然后依次对RFPN和CFPN进行估计和校正，最后采用补偿方法，将估算得到的RFPN与CFPN值带入到式(1),即有效得到理想的像素信息。本发明主要应用于图像处理。

主权项

1.一种TDI‑CMOS图像传感器FPN校正方法，其特征是，假设FPN和随机噪声都是加性噪声，而且两者不相关，对于给定的已制造完成的TDI‑CMOS图像传感器芯片，假设其FPN对应的灰度值在相同工作环境下是相等的，随机噪声服从均值为零的高斯分布；TDI‑CMOS图像传感器的像素阵列大小是M×N，即M行N列，将行序号和列序号分别记为i和j，假设不同像素的光响应是不相关的，则输出图像中像素(i,j)的灰度值y(i,j)可以表示为式(1)：y(i,j)＝x(i,j)‑a(i)+b(j)+r(i,j)  1≤i≤L,1≤j≤N(1)其中，L是图像在沿轨方向上的尺寸，x(i,j)是像素(i,j)的理想灰度值，a(i)是第i行像素对应的RFPN灰度值，b(j)是第j列像素对应CFPN灰度值，而r(i,j)是除FPN外的所有噪声对应的灰度值，根据TDI工作原理，a(i)满足式(2)a(i)＝a(i+T)(2)T＝M_TDI+1(3)其中，M_TDI为TDI累加级数；首先需要采集样本图像数据，然后依次对RFPN和CFPN进行估计和校正，最后采用补偿方法，将估算得到的RFPN与CFPN值带入到式(1),即有效得到理想的像素信息；RFPN消除具体步骤是，图像Y_k的行均值向量定义为U_k，第i行像素的平均灰度值定义为U_k(i)，首先检测所有样本图像中沿轨方向第一条横纹的位置即首行检测：图像Y_k的行均值向量中相邻两个元素的比值定义为D_k(i)，如式(5)所示：因此，U_k曲线中跳变所在的位置通过D_k(i)的阈值检测得到，即每个变化周期的最后一行的行序号可以通过检测得到，将第一个变化周期的最后一行的行序号记为S_k，在图像Y_k中，从第(S_k+1)行开始截取t个周期构造一副新的图像Y_C,k，将Y_C,k的尺寸定义为L_c×N，由式(2‑1)可知，L_c满足式(2‑6)：L_c＝t×T＝t×(M+1)(6)对收集到的所有K幅样本图像重复进行上述操作，共可以构造K幅新的图像，记为Y_C,1,Y_C,2,…,Y_C,K，此时，K幅新图像中所有对应的横条纹都处于相同的位置，将图像Y_C,k的行均值向量定义为U_C,k，则所有新图像Y_C,1,Y_C,2,…,Y_C,K的总行均值向量U_C可以表示为式(7)：基于U_C估计第i行像素对应的RFPN灰度值a(i)(1≤i≤L_c)，a(i)表达式如式(8)，a(i)＝round(U_C(1)‑U_C(i))  2≤i≤M+1(8)根据式(1)，通过像素原始灰度值加上对应行的RFPN灰度值的估计值来校正RFPN，考虑到8‑bit图像的灰度值范围是(0‑255)，还需要对校正过程进行一些约束，如式(9)所示：其中，z(i,j)是像素(i,j)校正RFPN后的灰度值；根据式(1)和式(9)，像素(i,j)校正RFPN后的灰度值z(i,j)表示为式(10)：z(i,j)＝x(i,j)+b(j)+r(i,j)  1≤i≤L,1≤j≤N(10)CFPN消除具体步骤是，对所有样本图像Y₁,Y₂,…,Y_K进行RFPN校正后得到K幅新的图像，记为Z₁,Z₂,…,Z_K，Z_k(1≤k≤K)的列均值向量定义为V_k，则所有K幅新图像的总列均值向量V可以表示为式(11)：总列均值向量V通过多次采样取平均计算得到，消除了随机噪声的影响，因此可以基于V估计第j列像素对应的CFPN灰度值b(j)(1≤j≤N)，为了基于向量V估计CFPN灰度值b(j)，首先构造一个曲线近似平滑的理想列均值向量V_C，则向量V减去向量V_C得到的差即为估计的CFPN向量；向量V_C可以通过向量V中几个相邻元素取平均的方式构造，即使用最近邻均值滤波器(Nearest Neighbor Averaging Filter，NNAF)进行构造，带有参数的NNAF，如式(12)所示，来构造向量V_C：其中，W是变量，V_W是使用设计的NNAF构造的列均值向量，而V_W(j)是第j列像素的平均灰度值；基于V_W估计的CFPN向量定义为B_W，而第j列像素的平均灰度值定义为B_W(j)，则向量B_W可以通过式(13)计算得到：B_W＝floor(V‑V_W)(13)向量B_W中所有元素的平均值定义为B_M,W，而B_M,W的绝对值定义为B_MA,W，如式(14)和式(15)所示：B_MA,W＝B_M,W(15)当N足够大时，CFPN向量中的元素服从均值为零的高斯分布，因此，估计得到的CFPN向量中所有元素的平均灰度值应该为零或近似为零，则对应B_MA,W值最小的B_W向量是对CFPN向量的最佳估计，将最佳估计向量B_W记为B_S，因此可得式16：b(i)＝B_S(16)。