[发明专利]基于可见光和红外光图像融合的鸟情探测设备及识别方法

权利要求书

1.基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于包括以下步骤：

步骤1：开机自检，对电路、云台进行自检；

步骤2：对配置参数进行人工设定或默认参数加载；

步骤3：启动云台按一定速度和路径进行巡航；

步骤4：启动可见光和红外探鸟仪进行视频采集；

步骤5：对采集的两路视频进行图像融合；

图像融合包括三个步骤：图像预处理、图像配准和图像融合，

图像预处理包括图像去噪和图像增强，具体为：

(1)图像去噪：图像去噪采用空域滤波方法，红外图像去噪采用空域滤波方法中的α均值滤波方法可见光图像去噪采用非线性滤波空域滤波方法；

(2)图像增强：图像增强的主要目的是改变图像灰度等级，改善图像的视觉效果，提高图像对比度和清晰度；通过图像锐化，突出图像边缘细节信息，以便使图像特征更利于提取，对于红外图像，采用图像直方图均衡化方法，可见光图像的增强处理采用LOG滤波器空域滤波增强方法；

图像配准采用基于特征的配准方法，具体包括三部分：

(1)在基准图像和待配准图像间，寻找共性特征；

(2)根据基准图像和待配准图像，确定图像间的几何变换方法；

(3)对待配准图像进行几何校正；

以上三部分由信息处理机根据机场周边环境特征，人为选定场景具有明细特征的目标图像作为图像配准的基准图像，用于做图像配准，图像配准过程包括：

采用图像插值与重采样方法，图像插值与重采样目的是为了补全被插值位置的像素值，使整个图像平滑，利于进一步的处理；

所述图像插值采用双线性插值法，双线性插值法的具体方法如下：

双线性插值法是一阶插值方法，采样点像素值取它周围四邻域像元的加权值得到，四邻域像素的权值是用一个分段线性函数表示的，该分段线性函数表示为：

设内插点为f(x，y)，该点周围4个最近邻像素点像素之间的间隔为1，记f(x，y)到一个像素点x、y方向的投影分别为Δx，Δy，先在Y方向内插一次，再在X方向内插一次，或者先在X方向内插一次，再在Y方向内插一次，最后得到内插点f(x，y)的像素值；

对内插点f(x，y)进一步图像双线性内插方法处理，具体过程如下：

上式中，w₁₁，w₁₂，w₂₁，w₂₁分别为内插点f(x，y)周围像素I₁₁，I₁₂，I₂₁，I₂₁对应的权值，双线性插值效果优于最近邻插值效果，避免了插值后图像像素值不连续现象，双线性插值具有低通滤波器的性质，对图像高频分量有削弱作用，具有平滑滤波效果，使图像边缘模糊，双线性方法虽然破坏了原图像像素值，但内插精度和运算量适中，适合信息处理机嵌入式程序执行；

图像融合采用基于小波变换的双树复小波变换法(DTCWT)，双树复小波变换具有多方向选择性，近似平移不变性，冗余数据有限的优点，运算效率高，对图像的重构效果好，变换的多分辨率分解过程是通过两组Q-shift滤波器来实现，因此会得到两个平行的分解树Tree A和Tree B，分别表示小波的实部和虚部，变换函数定义为：

ψ(x)＝ψ_h(x)+jψ_g(x)

其中ψ_h(χ)和ψ_g(χ)为实数小波的实部和虚部，二维变换是通过一维变换拓展得来的，经过二维变换后，图像的每一次分解得到两个低频系数L_(j+1，1)，L_(j+1，2)和6个方向的高频系数H_(j+1，m)，m＝1……6，相对于离散小波3个方向的高频系数，DTCWT变换具有更好的方向选择性，从而能够更完整的保留源图像的细节，DTCWT变换在分解过程中采用的Q-shift滤波器是两组正交滤波器，且存在不同的延时，这样的设计能够消除平移带来的混叠现象，保证了图像在变换过程中的近似平移不变性，高运算效率；

选用DTCWT对红外与可见光图像进行多分辨率分解，分解层数为四层，得到相应的低频系数及高频系数，然后结合区域图像分割结果对于低频系数和高频系数分别采用不同的融合规则进行处理；

经过多分辨率分解后，图像的低频部分表示图像的基本信息，高频部分表示图像的细节信息，根据红外与可见光图像低频部分融合所要达到的目的，在疑似目标区域尽可能多的保留红外图像中的热目标信息的亮度；在背景区域则更多的保留可见光图像的细节及场景信息，因此，在疑似目标区域，低频融合采用为“模值取大法”，公式为：

其中，为融合图像的低频系数，i＝1，2，为第l层的红外图像低频系数，为第l层的可见光图像低频系数；

图像经过多分辨率分解后，高频分量表示图像中的边缘、轮廓细节信息，为了在融合图像中尽可能保留源图像的细节、纹理信息，进一步采用基于区域加权的高频融合方法处理，通过基于疑似目标区域的图像分割方法将红外与可见光图像分割为n个区域，用R＝{r1，r2…rn}来表示，定义一个区域权值Q，表示为：

区域权值Q与图像中的每个小区域ri相对应，i＝1，2…n，

为了保证融合图像中每个小区域内的纹理细节信息更丰富，融合规则f规定选择红外与可见光图像中Q_ri值更大的对应区域来计算融合图像区域ri的融合系数，将该区域高频系数的均值作为融合图像的对应区域的高频系数，为了保证融合图像中每个小区域的边缘细节更显著更清晰，将二值边缘矩阵S^l，θ，作为权值加入融合图像高频系数的计算，融合图像的高频系数公式为：

根据上述融合规则得到的融合图像低频及高频系数进行DTCWT逆变换，最终获得融合图像；

步骤6：针对融合后的图像进行特征提取；

步骤7：提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果；

步骤8：根据结果判定目标类型，若为鸟类目标，进行步骤9，若为非鸟类目标，进行步骤4；

步骤9：将上述判定结果上报信息处理机决策系统；

步骤10：根据当前目标所处场景和步骤9的上报结果，进行联动驱鸟；

步骤11：驱赶不成功，返回步骤10；否则，返回步骤3。