[发明专利]基于语义分割图的遥感图像DSM融合方法

权利要求书

1.一种基于语义分割图的遥感图像DSM融合方法，其特征在于，包括如下步骤：

(1)获取多个有效时间差对应的图像对：

(1a)对n个卫星在不同时间对同一区域拍摄的n幅遥感图像进行组合方式配对，得到个图像对，并计算每个图像对中两幅遥感图像的时间差Δt，得到个时间差，n≥2；

(1b)按照升序的方式对个时间差进行排序，并选择前p个时间差作为有效时间差，该前p个有效时间差所对应的图像对为a₁,a₂,…,a_i,…,a_p，a_i表示第i个有效时间差所对应的图像对，a_i的一幅遥感图像为a_i1，另一幅遥感图像为a_i2，a_i1和a_i2的大小均为w×h，1≤i≤p，p≥1；

(2)获取每个有效时间差所对应的图像对a_i的视差图：

(2a)将遥感图像a_i1的相机旋转矩阵R_i1和相机投影矩阵P_i1以及a_i2的相机旋转矩阵R_i2和相机投影矩阵和P_i2输入到OpenCV函数库的stereoRectify函数中，计算a_i1的单应性矩阵和a_i2的单应性矩阵并将和分别输入到OpenCV函数库的initUndistortRectifyMap函数中计算a_i1的校正查找映射表map_i1和a_i2的校正查找映射表map_i2，再将map_i1和map_i2分别输入到OpenCV函数库的remap函数中得到大小均为w×h的校正图像c_i1和c_i2，最后对c_i1和c_i2分别进行中心裁剪，得到由大小均为的校正图像b_i1和b_i2构成的校正图像对b_i，p个图像对a₁,a₂,…,a_i,…,a_p的校正图像对为b₁,b₂,…,b_i,…,b_p；

(2b)采用半全局匹配算法计算b_i的大小为的视差图b_idisp，并将其作为a_i的视差图，p个图像对a₁,a₂,…,a_i,…,a_p的视差图为b_1disp,b_2disp,…,b_idisp,…,b_pdisp；

(3)获取每个有效时间差所对应的图像对a_i的数字表面模型DSM_i：

(3a)通过b_i1和b_idisp对b_i2进行配准，得到大小为的配准图像p个配准图像为

(3b)采用三角测量法，通过b_i1和计算a_i的3D点云，并通过3D点云构造a_i的大小为的数字表面模型DSM_i，p个图像对a₁,a₂,…,a_i,…,a_p的数字表面模型为DSM₁,DSM₂,…,DSM_i,…,DSM_p，为DSM_i上坐标为(μ,σ)的像素点的高度值；

(4)获取语义分割图：

(4a)构建W个不同尺度的遥感训练集T₁,T₂,…,T_q,…,T_W，并将其分别输入深度卷积神经网络中，得到W个分割网络模型Model₁,Model₂,…,Model_q,…,Model_W，T_q和Model_q分别表示第q个尺度的遥感训练集和其分割网络模型，W≥2；

(4b)获取b_i1在Model₁,Model₂,…,Model_q,…,Model_W下的大小均为的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW，并将其作为a_i1的W个语义分割图，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1在Model₁,Model₂,…,Model_q,…,Model_W下的pW个语义分割图为其中表示img_iq在坐标为的像素点的标签值，

(4c)计算a_i1的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到a_i1的语义分割图img_imod，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1的语义分割图为img_1mod,img_2mod,…,img_imod,…,img_pmod，其中

(4d)计算p个语义分割图img_1mod,img_2mod,…,img_imod,…,img_pmod在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到语义分割图Img_fuse，

(5)基于语义分割图对遥感图像数字表面模型DSM进行融合：

(5a)统计a_i所在区域的带有人工标注的Ground truth语义分割图中每个标签值C_ε对应的高度范围并将其作为DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的标准高度范围，ε为整数，ε≥1；

(5b)当时，若令若令计算的中值并对个中值构成的矩阵进行可视化，得到所有图像对的DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的数字表面模型DSM_fuse，