[发明专利]一种基于双通道生成-融合网络的图像模态变换方法

权利要求书

1.一种基于双通道生成-融合网络的图像模态变换方法，其特征在于，包括如下步骤：

步骤1)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；

步骤2)建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络权值、亮度阈值；

步骤3)利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换；

所述步骤1)中：

首先，将可见光彩色图像转换为灰度图像I_CCD，并且在灰度图像I_CCD和红外图像I_IR中分别提取SIFT特征点；然后，以红外图像I_IR中每个SIFT特征点F_IRⁱ为中心，在给定的搜索范围内在可见光灰度图像I_CCD中寻找SIFT候补特征点集合{F_CCD¹,F_CCD²,…F_IRⁿ}；接着，计算红外图像I_IR特征点F_IRⁱ与灰度图像I_CCD候补特征点集合中每一个特征点F_CCD^j之间的相似度，最后，根据最大相似度完成F_IRⁱ和{F_CCD¹,F_CCD²,…F_IRⁿ}之间的可见光-红外SIFT特征点匹配；

在红外图像I_IR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对集合中，估计可见光图像I_CCD与红外图像I_IR之间的转换矩阵M；最后，根据M矩阵将灰度图像I_CCD转换为与红外图像I_IR在视野和分辨率均相同的图像I_color；

所述步骤2)为：

“双通道生成-融合网络”由三个模块构成：“基于残差单元的图像生成网络”、“基于稠密单元的图像生成网络”和“图像融合”模块；

“基于残差单元的图像生成网络”的输入为红外图像I_IR，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3；其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层；元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果；“基于残差单元的图像生成网络”输出为与输入I_IR分辨率相同的可见光生成图像I_RES；

“基于稠密单元的图像生成网络”的输入为红外图像I_IR，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3；其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1；向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果；向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果；“基于稠密单元的图像生成网络”输出为与输入I_IR分辨率相同的可见光生成图像I_DENSE；

“图像融合”模块的输入为I_RES和I_DENSE，该模块的结构如下：“图像分割≥亮度阈值”、“图像分割亮度阈值”和“图像拼接”模块；图像融合过程如下：首先，将“基于残差单元的图像生成网络”的输出I_RES图像,利用亮度阈值b^*进行分割,保留亮度值大于等于b^*的像素点，获得分割结果I_Seg1；接着，将“基于稠密单元的图像生成网络”的输出I_DENSE图像,利用亮度阈值b^*进行分割，保留亮度值小于b^*的像素点，获得分割结果I_Seg2；最后，将两次分割的图像进行拼接,获取最终生成图像I_Out＝I_Seg1+I_Seg2；

如上述建立“双通道生成-融合网络”后，利用红外-可见光双模态数据集训练，获取各通道生成神经网络权值、亮度阈值；

所述步骤3)中：

待测红外图像I_IR经过双通道生成网络分别生成I_RES、I_DENSE；然后，利用步骤2)训练获取的最优亮度阈值b^*对I_RES、I_DENSE分别进行分割，获得分割图像I_SEG1，I_SEG2；最后将分割后的图像进行拼接融合：I_out＝I_SEG1+I_SEG2。

2.根据权利要求1所述的基于双通道生成-融合网络的图像模态变换方法，其特征在于：所述的利用红外-可见光双模态数据集训练，获取各通道生成神经网络权值、亮度阈值；具体如下：

1)利用对抗生成网络的训练方法单独训练“基于残差单元的图像生成网络”，获取其网络权值，并且保存数据；

2)利用对抗生成网络的训练方法单独训练“基于稠密单元的图像生成网络”，获取其网络权值，并且保存数据；

3)利用各通道的生成图像与真值图像的灰度直方图的拟合结果，估计图像分割、拼接的亮度阈值：

3.1)设定亮度阈值的搜索区间[b₀,255]；设b_i为亮度阈值，且b_i∈[b₀,255]；

3.2)遍历训练数据获取“基于残差单元的图像生成网络”的生成图像I_RES(k),k＝1,…,N；N为训练样本数,I_RES(k)为第k个训练样本的残差单元网络生成图像；遍历训练数据获取“基于稠密单元的图像生成网络”的生成图像I_DENSE(k),k＝1,…,N，N为训练样本数，I_DENSE(k)为第k个训练样本的稠密单元网络生成图像；

3.3)利用亮度阈值b_i，分别对I_RES(k)、I_DENSE(k)进行分割后拼接融合，其中，k＝1,…,N，I_FUSION(b_i,k)＝I_Seg1(k)+I_Seg2(k),k＝1,…,N；

3.4)分别计算I_RES(k)、I_DENSE(k)、I_FUSION(b_i,k)，与训练样本中可见光图像真值I_GT(k)之间误差MSE(I_RES(k),I_GT(k))、MSE(I_DENSE(k),I_GT(k))、MSE(I_FUSION(k),I_GT(k))，其中，k＝1,…,N；

3.5)计算同时满足MSE(I_FUSION(k),I_GT(k))MSE(I_DENSE(k),I_GT(k))和MSE(I_FUSION(k),I_GT(k))MSE(I_RES(k),I_GT(k))条件的样本个数N^*，k＝1,…,N；

3.6)计算满足3.5)条件的N^*个MSE误差的平均值MSE^*(b_i)

3.7)计算亮度阈值b_i的优化目标函数

式中，μ₁是MSE的最优希望值，μ₂是N^*的最优希望值，σ₁，σ₂是归一化常数；

3.8)求取最佳亮度阈值b^*

b^*＝argmax(J(b_i)),b_i＝b₀,...,255。