[发明专利]一种基于无人机的双目灰度图像的三维重建方法

权利要求书

1.一种基于无人机的双目灰度图像的三维重建方法，其特征在于，包括：

通过双目灰度相机拍摄标定，获取相机内外参数并构建数学模型；

获取灰度图像，并对其进行原彩恢复；

将恢复原彩的图像进行处理对比输出视差图，并将视差图转换为深度图像；

将深度图与三通道图像进行坐标转换，通过渲染进行三维重建。

2.如权利要求1所述的基于无人机的双目灰度图像的三维重建方法，其特征在于：通过双目灰度相机拍摄标定，包括：

用双目灰度相机拍十组棋盘格图片，用张正友棋盘格标定法获取相机内外参数。

3.如权利要求2所述的基于无人机的双目灰度图像的三维重建方法，其特征在于：所述相机定标的数学模型表示为：

其中，是从世界坐标系到相机坐标系，R是旋转矩阵，T是平移向量；是从相机坐标系到理想图像坐标系，是从实际图像坐标系到像素坐标系。

4.如权利要求1所述的基于无人机的双目灰度图像的三维重建方法，其特征在于：所述灰度图像获取方法，包括：

使用双目相机绕着物体进行全方位拍摄，所述相机成像模式表示为：

对拍摄到的图像进行预处理，去畸变：

P和P_d的关系表示为

相机坐标系和图像坐标系的关系表示为

其中，P是图像点的坐标，P_d是矫正后的带有畸变的实际图像点的坐标，

5.如权利要求1所述的基于无人机的双目灰度图像的三维重建方法，其特征在于：对所述灰度图像进行原彩恢复，恢复原彩所用的方法为Deoldify，包括：

首先对图像进行预处理，输入一个单通道灰度图片，将单通道复制为三通道，根据设定的渲染因子，将图片尺寸缩放到边长为因子16倍长的正方形，然后转为数组矩阵格式，除以255并进行正则化处理；

将预处理后的数据输入网络模型，Deoldify的网络基于resnet101和改进后的Unet实现，整个网络是通过输入灰度图像经过网络后得到三通道图像的模型；

模型的损失函数L1_loss表示为：

6.如权利要求5所述的基于无人机的双目灰度图像的三维重建方法，其特征在于：将恢复原彩的图像进行立体匹配并输出视差图，包括：

使用GWCNet和SGBM算法对图像进行立体匹配处理对比，所述GWCNet算法表示为：

其中，是两个特征向量的内积；

在所有的视差层级d中计算所有分组g的相关，然后将所有的相关图报打包为一个匹配代价量，形状为

其中，D_max表示最大视差，D_max/4对应该特征的最大视差，当N_g＝1时，组相关变成了完全相关；

视差估计值表示为：

其中，k为一个可能的视差层级，pk为对应的概率；

从四个输出模块中得到的预测视差图分别表示为：损失函数表示为：

其中，λ_i表示第i个视差预测的系数，d^*表示ground-truth视差图；

SmoothL₁损失计算表示为：