[发明专利]一种基于反馈机制的电力设备红外与可见光图像配准方法

权利要求书

1.一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于，包括以下步骤：

1)分别对红外图像与可见光图像进行各向异性滤波；

2)利用Canny算法分别提取红外图像与可见光图像的边缘，并分别在红外边缘图像与可见光边缘图像上提取SURF特征点；

3)通过对SURF特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵集，并采用预设的先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；

4)根据候选仿射矩阵集依次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；

5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集；

6)根据最优匹配点集解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外与可见光图像配准；

在所述步骤4)中，具体步骤如下：

41)根据候选仿射矩阵依次对红外图像进行仿射变换；

42)成红外图像与可见光图像兴趣区域；

43)采用归一化互信息快速计算方法计算可见光与仿射变换后的红外图像间的互信息，步骤如下：

431)分别得到可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k中的最大灰度值vis_max和inf_max，将位于可见光兴趣区域图像visRoi中所有像素的像素值都乘以255/vis_max，将位于红外兴趣区域图像infRoi_k中所有像素的像素值都乘以255/inf_max；

432)分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的灰度直方图，分别用{visBin₀,visBin₁,...,visBin₂₅₅}、{infBin₀,infBin₁,...,infBin₂₅₅}来表示，再将可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的灰度直方图进行线性叠加，得到一个新的灰度直方图，记为灰度直方图Bin，公式如下：

Bin＝{visBin₀+infBin₀,visBin₁+infBin₁,...,visBin₂₅₅+infBin₂₅₅}

＝{bin₀,bin₁,...,bin₂₅₅}

式中，bin_m是灰度直方图中的一个图柱，表示第m个灰度级范围的像素数量，m取值范围都是0～255；

433)对灰度直方图Bin进行修正；按照下列步骤对灰度直方图Bin进行修正：

a.按照从左到右的顺序，依次判断灰度直方图Bin中每个图柱拥有的像素数量是否小于常量阈值T_bin,若像素数量小于常量阈值T_bin，则将该图柱与其右相邻的图柱进行叠加合并；若该图柱拥有的像素数量小于常量阈值T_bin，并且位于灰度直方图的最右端，则将该图柱与其左相邻的图柱进行叠加合并；其中，叠加合并后的图柱拥有的像素数量是叠加合并前的两个图柱的像素数量之和，并且，叠加合并后的图柱所表示的灰度级范围是叠加合并前的两个图柱所表示的灰度级范围的并集；

b.若灰度直方图Bin中每个图柱拥有的像素数量都不小于T_bin，转步骤c，否则转步骤a；

c.若灰度直方图Bin中的图柱数量不大于36个，则终止，得到修正后的灰度直方图Bin'，此时修正后的灰度直方图Bin'具有36个图柱，Bin'＝{bin₀,bin₁,...,bin_p,...,bin_l,...,bin₃₅}，bin_p表示修正后的灰度直方图Bin'中第p个灰度级范围的图柱，bin_l表示修正后的灰度直方图Bin'中第l个灰度级范围的图柱；

d.找到灰度直方图Bin中拥有像素数量最少的图柱bin_min，若图柱bin_min位于灰度直方图的最左端或者最右端，则将图柱bin_min与其相邻图柱进行叠加合并；若图柱bin_min不位于最左端或者最右端，则转步骤e；

e.令bin_left和bin_right分别表示图柱bin_min的左相邻图柱和右相邻图柱，令N₁、N₂和N₃分别表示图柱bin_left、图柱bin_right和图柱bin_min所拥有的像素数量，令range₁、range₂和range₃分别为图柱bin_left、图柱bin_right和图柱bin_min所表示的灰度级范围，对图柱bin_left、图柱bin_right和图柱bin_min进行比例合并：首先，将图柱bin_min所拥有的像素数量按比例分配给图柱bin_left和图柱bin_right，公式如下：

式中，[]表示对数值进行四舍五入；然后，按比例和将range₃分为左右两个范围，分别记为range_left和range_right；然后，令range₁＝range₁∪range_left，range₂＝range₂∪range_right；转步骤c；∪表示求并集，取左右两个集合中的所有元素，如果有重复元素则只保留一个；

434)根据可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k，同时以修正后的灰度直方图Bin'为参照，分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoi_k的新灰度直方图：

435)计算H(A)和H(B)，计算公式如下：

式中，H(A)表示可见光兴趣区域图像visRoi的信息熵，H(B)表示红外兴趣区域图像infRoi_k的信息熵，p_A(a)表示灰度直方图一visRoiBin中第a个灰度级范围的图柱拥有的像素数量与灰度直方图一visRoiBin所有图柱拥有的像素数量的比例，p_B(b)表示灰度直方图二infRoi_kBin中第b个灰度级范围的图柱拥有的像素数量与灰度直方图二infRoi_kBin所有图柱拥有的像素数量的比例；

436)计算H(A,B)，计算公式如下：

式中，H(A,B)表示可见光兴趣区域图像visRoi与红外兴趣区域图像infRoi_k的联合信息熵，p_AB(a,b)表示在可见光兴趣区域图像visRoi中属于灰度直方图一visRoiBin中第a个灰度级范围，并且相同坐标下，在红外兴趣区域图像infRoi_k中属于灰度直方图二infRoi_kBin中第b个灰度级范围的像素数量，与灰度直方图一visRoiBin、灰度直方图二infRoi_kBin所有图柱拥有的像素数量之和的比例；

437)计算互信息，计算公式如下：

式中，NMI_k表示根据仿射矩阵h_k计算得到的互信息；

44)若互信息NMI_k是所有根据候选仿射矩阵计算出的互信息中的最大值，则仿射矩阵h_k是反馈矩阵，并将h_k重新记为反馈矩阵h_max。