[发明专利]一种鲁棒的单相机深度图估计方法

说明书

本发明公开了一种鲁棒的单相机深度图估计方法，该方法输入双目相机采集的m对彩色图像中左、右目的彩色图像，得到对应的左、右目视差预测，再将左、右目的彩色图像和对应的左、右目视差预测通过双线性插值重建右、左目的彩色视图；通过与真实采集的右、左彩色视图比较误差，进而迭代优化网络参数得到训练完成的神经网络模型。将RGB相机获取的单目彩色图输入至预先训练完成的神经网络模型得到单目视差预测图，通过视差disparity与深度depth一一对应关系，最终得到单目深度预测图。该方法只需要单个RGB相机就能实时输出RGB图像对应的深度图信息，具有实时性高、针对不同场景鲁棒性好、不需要额外器件的优点。

技术领域

本发明属于预测深度技术、立体视觉技术、图像处理技术、计算机视觉技术领域，涉及一种使用单目相机的预测深度方法。

背景技术

深度信息作为图像的一个重要而基本的部分，是将二维平面信息转化成三维立体信息，进而重建高质量三维场景的一个重要线索。深度预测技术已经广泛应用于无人驾驶，立体视觉传感器，障碍物检测等领域。

深度信息一般需要双目或者多目相机获取不同视角的彩色图片对，通过匹配算法预测深度。但此方法存在一定缺点，例如需要控制收集彩色图对的所有相机具有相同的参数，也需要进行精确标定。同时，双目或者多目匹配的深度预测结果，还无法满足现有的精度和鲁棒性要求。此外，双目或者多目相机的预测深度装置，不适合集成化和小型化的应用场景。

发明内容

本发明的目的在于针对现有技术的不足，提供一种鲁棒的单目相机深度图估计方法。

本发明的目的是通过以下技术方案实现的：一种鲁棒的单目相机深度图估计方法，该方法为，将RGB相机获取的单目彩色图输入至预先训练完成的神经网络模型得到单目视差预测图，通过视差disparity与深度depth一一对应关系：最终得到单目深度预测图。其中，神经网络的训练过程如下：

1、使用已知焦距f、两摄像头间距d的双目相机在实际场景中采集m对彩色图像，其中m大于20000，采集图像过程需要在n个不同场景下进行采集，其中n大于30；双目相机的两摄像头连线应始终保持水平，且内部物理参数应完全相同。

2、利用双目相机采集的m对彩色图像进行神经网络模型训练。其中，神经网络模型输入为采集的彩色图像(分辨率为512×256)，输出为对应单目视差预测。训练时，输入m对彩色图像中左、右目的彩色图像，得到对应的左、右目视差预测，再将左、右目的彩色图像和对应的左、右目视差预测通过双线性插值重建右、左目的彩色视图；通过与真实采集的右、左彩色视图比较误差，进而迭代优化网络参数得到训练完成的神经网络模型。各网络层参数的具体设计如下表所示，其中，最后一层(第18层)为输出的单目视差预测图。