[发明专利]基于视差图和关键点的多视图遥感图像立体重构方法

摘要

本发明公开了一种基于视差图和关键点的多视图遥感图像立体重构方法，主要解决现有技术中遥感图像重构精度不高的缺陷，其实现步骤为：(1)选择图像对；(2)生成地物类别标签；(3)生成融合地物类别标签的视差图；(4)生成每个图像对的数字表面模型DSM；(5)融合每个图像对的数字表面模型DSM；(6)标记关键点；(7)优化融合的数字表面模型DSM；(8)立体重构三维模型。本发明提高了建筑物与地面类别的遥感目标的重构精度，能够自适应地满足不同地物类别标签目标的视差计算精度要求，提高了遥感图像的重构速度。

主权项

1.一种基于视差图和关键点的多视图遥感图像立体重构方法，其特征在于，按照卫星拍摄偏角和拍摄日期选择图像对，生成融合地物类别标签的视差图，利用关键点和地物类别标签优化数字表面模型DSM；该方法的具体步骤如下：(1)选择图像对：(1a)输入同一卫星拍摄于同一区域的至少10张图像，将每张图像分别与其它图像组成图像对，每个图像对中的每张图像均包含道路、高架桥、建筑物、植被和地面五种地物目标外还均含有头部信息；(1b)从所有图像对中选取卫星拍摄偏角差异大于5°且小于45°的图像对组成图像对集合；(1c)若图像对集合中图像对的数量大于50，则将该图像对集合中的图像对按照卫星拍摄时间差异升序排序，从排序中选取前50个图像对组成待重构的图像对集合，若图像对集合中图像对的数量小于50，则直接将该图像对集合作为待重构的图像对集合；(1d)将待重构的图像对集合中每个图像对中的一张图像作为基准图像，另一张图像作为辅助图像；(2)生成地物类别标签：将待重构的图像对集合中每个图像对的基准图像输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点的地物类别标签；(3)生成融合地物类别标签的视差图：(3a)从待重构的图像对集合中任选一个未选过的图像对；(3b)将所选基准图像中地物类别标签为建筑物类别标签的像素点的视差偏移范围设置为[‑256,256]，地物类别标签为地面类别标签的像素点的视差偏移范围设置为[‑32,32]，地物类别标签为五种类别标签中的其它类别标签的像素点的视差偏移范围设置为[‑64,64]；(3d)通过半全局匹配算法SGBM，利用所选图像对的基准图像和辅助图像生成该图像对的视差图；(3e)判断是否选完待重构的图像对集合中的所有图像对，若是，则执行步骤(4)，否则，执行步骤(3a)；(4)生成每个图像对的数字表面模型DSM：对待重构的图像对集合中每个图像对生成的视差图进行三角测量操作，得到以二维图像形式存储的每个图像对的数字表面模型DSM；(5)融合每个图像对的数字表面模型DSM；(5a)从待重构的图像对集合中的每个图像对的数字表面模型DSM中选取一个未选过的像素点组成像素点集合，所选的每个像素点均位于各自对应数字表面模型DSM中的相同位置；(5b)从像素点集合中任取一个未选过的像素点；(5c)统计所选像素点与像素点集合中其它像素值之差的绝对值小于1的像素点的总数，将该总数除以像素点集合中像素点的总数作为所选像素点密度；(5d)判断是否选完像素点集合中的所有像素点，若是，则执行步骤(5e)，否则，执行步骤(5b)；(5e)选取像素点集合中像素点密度中的最大值，将该最大值对应的像素点作为稠密像素点；(5f)判断是否选完待重构的图像对集合中每个图像对的数字表面模型DSM的所有像素点，若是，则将所有稠密像素点组成融合的数字表面模型DSM后执行步骤(6)，否则，执行步骤(5a)；(6)标记关键点：将融合的数字表面模型DSM中像素点密度大于0.5的所有像素点均标记为关键点，将其它像素点标记为非关键点；(7)优化融合的数字表面模型DSM：(7a)从融合的数字表面模型DSM中选取一个未选过的非关键点；(7b)若所选非关键点的地物类别标签为建筑物类别标签，则将与所选非关键点相邻的5×5范围内地物类别标签为建筑物类别标签的所有关键点，组成所选非关键点的邻域建筑物关键点集合，计算所选非关键点的邻域建筑物关键点集合中所有像素的均值，作为所选非关键点的邻域均值；(7c)判断非关键点的邻域建筑物关键点集合中的最大最小像素值之差是否小于2，若是，则用所选非关键点的邻域均值更新所选非关键点的像素值后执行步骤(7e)，否则，用所选非关键点的邻域建筑物关键点集合中像素值小于所选非关键点的邻域均值的所有像素点的像素均值，更新所选非关键点的像素值后执行步骤(7e)；(7d)若所选非关键点的地物类别标签为地面类别标签，则将与所选非关键点相邻的100×100范围内地物类别标签为地面类别标签的所有关键点，组成所选非关键点的邻域地面关键点集合，用所选非关键点的邻域地面关键点集合中所有像素的均值更新所选非关键点的像素值；(7e)判断是否选完融合的数字表面模型DSM中所有非关键点，若是，则得到优化的数字表面模型DSM后执行步骤(8)，否则，执行步骤(7a)；(8)立体重构三维模型：(8a)将优化的数字表面模型DSM中每个像素点的像素值，作为每个像素点的高度信息，与每个像素点在优化的数字表面模型DSM上的二维位置信息组成三维位置信息；(8b)将所有像素点的三维位置信息组成三维模型，实现遥感图像的立体重构。