[发明专利]无人机建筑航拍图神经网络自动校色方法

权利要求书

1.一种无人机建筑航拍图神经网络自动校色方法，其特征在于，包括以下步骤：

步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；所述光照补偿处理具体为：

首先用HSL色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：

其中L_i表示图像i的光照增益，x＝1,2…,width_i,y＝1,2,…,height_i分别为像素的横纵坐标，width_i、height_i分别表示图像i的宽度与高度，l_I(x,y)表示图像坐标为(x,y)的像素点在HSL色彩空间下的L坐标；

基于整个图像集计算平均光照增益，如公式(2)所示：

其中L_Average表示整个图像集的平均光照增益，N表示图像集中图像总数；

然后基于图像集中所有图像在HSL色彩空间下的光照增益L_i与图像集的平均光照增益L_Average计算放缩比例如公式(3)所示：

并将图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例得到图像集光照均衡的待校色图像；

此后将图像集光照均衡的待校色图像i分割为W×H个相同的矩形子区域，矩形子区域的高为宽为并计算第j个矩形子区域中的光照增益L_ij，计算方法同公式(1)，由此得到尺寸为W×H的分区光照矩阵S；将矩阵S逐元素地减去整个图像的光照增益L_i，得到分区光照差值矩阵E_S，如公式(4)所示：

E_S＝S-L_i×I (4)

其中I为单位矩阵；

用双立方差值法将分区光照差值矩阵E_S扩充成与分区光照矩阵S等尺寸的光照差值矩阵E；将原图像在HSL色彩空间下L坐标的二维矩阵ML_i减去光照差值矩阵E，得到全图光照均衡图像；

步骤二：使用基于Transformer的DETR神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调；

所述层次聚类采用Chameleon聚类算法，基于属于建筑物的像素集构造一个KNN图，并通过hMETIS算法基于最小化割边的权重之和将KNN图分割为M个子图{C₁,C₂,…,C_M}；以相对互连性和相对近似性来度量子图之间的综合相似性；子图C_i与C_j的相对互连性度量RI(C_i,C_j)如公式(5)所示：

其中EC(C_i,C_j)是连接两个子图C_i与C_j的边的权重之和；EC(C_i)是将子图C_i划分为两个大小相等部分时所用割边的权重之和的最小值；子图C_i与C_j的相对近似性度量RC(C_i,C_j)如公式(6)所示：

其中是连接两个子图C_i与C_j的边的平均权重；是将子图C_i划分为两个大小相等部分时所用割边的平均权重的最小值；|C_i|是子图C_i的模；子图C_i与C_j的综合相似性度量R如公式(7)所示：

R＝RI(C_i,C_j)×RC(C_i,C_j)^α (7)

其中α是指数系数；

Chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值T_s，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的RGB均值，得到建筑物的若干个主色调RGB值；

步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值，具体为：

霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0；已知在图像的笛卡尔坐标系中，若一圆的圆心坐标为(a,b)，半径为r，则其曲线方程为(x-a)²+(y-b)²＝r²；而对于边缘上一点(x₀,y₀)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a-x₀)²+(b-y₀)²＝r²，即abr三维坐标系中的点对应XY平面上的一个圆；在abr三维坐标系中画出所有XY平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径；

创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周；计算旋转角度θ对应的矩形窗口内像素的平均值，记为M_θ；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ₀记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调RGB值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值；

步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；

所述卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层ResNet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行PixelShuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，由此训练得到用于校色的卷积校色神经网络模型；

步骤五：推理阶段对待校色图像进行光照补偿处理，使用DETR神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。