[发明专利]基于视差图和关键点的多视图遥感图像立体重构方法

说明书

本发明公开了一种基于视差图和关键点的多视图遥感图像立体重构方法，主要解决现有技术中遥感图像重构精度不高的缺陷，其实现步骤为：(1)选择图像对；(2)生成地物类别标签；(3)生成融合地物类别标签的视差图；(4)生成每个图像对的数字表面模型DSM；(5)融合每个图像对的数字表面模型DSM；(6)标记关键点；(7)优化融合的数字表面模型DSM；(8)立体重构三维模型。本发明提高了建筑物与地面类别的遥感目标的重构精度，能够自适应地满足不同地物类别标签目标的视差计算精度要求，提高了遥感图像的重构速度。

技术领域

本发明属于图像重构技术领域，更进一步涉及遥感图像立体重构技术领域的一种基于视差图和关键点的多视图遥感图像立体重构方法。本发明可用于对同一卫星在不同角度不同时间拍摄的两张以上的光学遥感图像进行立体重构。

背景技术

立体重构是根据单视图或者多视图的图像对三维物体重建三维信息的过程，是在计算机中建立表达客观世界的虚拟现实的关键技术。工程技术领域中通常采用同一摄像机在不同角度不同时间拍摄的两张以上的图像，在同一物理空间点对不同图像中的成像点进行立体匹配，再结合摄像机的参数进行多视图立体重构。用多视图图像进行立体重构的方法是先对摄像机进行标定，即根据摄像机的参数计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息进行立体匹配重建出三维立体信息。

北京大学在其申请的专利文献“一种航拍影像三维重建的全局运动初始化方法和系统”(专利申请号：201811101135，公开号：109493415A)中公开了一种航拍影像的三维立体重构方法。该方法的步骤为，(1)对连续帧图像进行特征提取，并对提取的特征点进行匹配；(2)基于连续帧图像的特征点计算相机旋转量；(3)计算连续帧图像的相机光心在世界坐标系的位置；(4)根据计算出的相机旋转量和光心位置，进行三维点云的重建。虽然该方法实现了同时定位与建图的快速初始化，但是，该方法仍然存在的不足之处是，该方法直接将航拍影像中的连续帧图像作为图像对，使得用于立体重构的图像对质量较差，影响立体重构的效果，并且该方法对航拍影像中所有地物目标使用同样的方法进行特征点匹配，无法针对具有不同几何特征和高度差异的地物目标自适应地调整匹配策略，影响了视差计算的可靠性。

北京理工大学在其申请专利文献“基于优化启发的神经网络的光谱成像系统的重构方法”(专利申请号：201910162197，公开号：109697697A)中公开了一种遥感高光谱图像的立体重构方法。该方法的步骤为，(1)建立光谱成像系统的前向传播模型；(2)构建高光谱图像重构网络；(3)配置高光谱图像重构网络训练所需参数；(4)制作训练集训练高光谱图像重构网络；(5)使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。虽然该方法利用神经网络的建模能力保证重建结果具备高空间分辨率，但是，该方法仍然存在的不足之处是，该方法将遥感高光谱图像划分得到的若干块子图像逐块输入到重构网络中，并将重构网络输出的重构结果进行拼接，重构网络的时延和划分子图像块的方式使得对遥感高光谱图像的重构时间较长，并且该方法对遥感高光谱图像中所有目标使用同一个重构网络进行重构，无法适应建筑物和地面遥感目标由于高度差异和纹理特征不同而具有的不同重构需求。

发明内容

本发明的目的是针对上述现有技术存在的不足，提出了一种基于视差图和关键点的多视图遥感图像立体重构方法。本发明解决了现有图像重构技术中图像对质量差、重构时间长、不同目标视差计算可靠性差、无法适应不同目标的重构需求等缺点，提高了立体重构的精度。

本发明实现上述目的的思路是：先按照卫星拍摄偏角和拍摄日期选择用于立体重构的图像对，将每个图像对中的一张图像作为基准图像，利用LinkNet网络生成每个图像对的基准图像中每个像素点的地物类别标签，然后结合地物类别标签生成每个图像对的视差图，再通过三角测量操作得到每个图像对的数字表面模型DSM，融合所有图像对的数字表面模型DSM，最后通过标记关键点优化融合的数字表面模型DSM。

本发明的步骤包括如下：

(1)选择图像对：