[发明专利]深度估计装置的训练方法、深度估计设备及存储介质

说明书

本发明公开了一种深度估计装置的训练方法、深度估计设备及存储介质。所述方法包括：向n个所述装置中的每个装置输入n个样本图像，输入至所述装置的n个样本图像的顺序被设置成使得各个装置所接收的第1个样本图像彼此不同，n为大于等于2的整数；利用所述装置所包含的第一神经网络，基于n个样本图像来估计第1个样本图像的深度图和从拍摄其他样本图像的相机的坐标系变换至拍摄第1个样本图像的相机的坐标系的变换矩阵；基于所述变换矩阵来构建使得n个装置相互关联的第一损失函数；以及通过使包括所述第一损失函数的总体损失函数最小化来确定所述装置的参数。

技术领域

本发明涉及图像处理领域，特别地涉及一种训练深度估计装置的方法和深度估计设备。

背景技术

如今，数字化的三维对象已经广泛地应用于人们日常生活的众多领域，比如增强现实、数字博物馆、三维打印等等。由于深度信息在三维对象重建的过程中起着重要作用，基于图像的深度估计受到越来越多的关注。一般而言，深度估计可以基于单幅图像或者多幅图像。基于单幅图像的深度估计结果通常缺乏扩展性，因此往往采用基于多幅图像的方法。

对于基于多幅图像的深度估计，输入为n幅图像(图像1，图像2，……，图像n)，输出为图像1的深度图，以及其它(n-1)幅图像相对于图像1的相机姿态。传统的方法通常需要检测每幅图像中的关键点，确定不同图像之间的匹配点，并计算匹配点的三维坐标进而求得深度信息。由于所有操作都是针对输入图像进行在线处理，并没有用到任何附加的先验信息，这类方法往往需要花费一些时间，而且只有同时在至少两幅图像中都可见的点的深度才能够被估计。近些年来，离线的学习技术被应用于深度估计中。基于使用大量数据训练得到的模型，在线的深度估计速度快，并且可以得到完整的深度图像。但是，在训练的过程中，已有的方法只是将每组图像看作一个独立的样本，而没有考虑图像之间相机姿态的相互关系。实际上，图像j相对于图像k的相机姿态与图像k相对于图像j的相机姿态是相互关联的，合理利用上述关联性附加的约束能够为训练过程提供更多的有用信息。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于现有技术的上述缺陷，本发明的目的之一是提供一种对深度估计装置进行训练的方法，所述装置用于估计图像中的对象的深度，所述方法包括：向n个所述装置中的每个装置输入n个样本图像，输入至所述装置的n个样本图像的顺序被设置成使得各个装置所接收的第1个样本图像彼此不同，n为大于等于2的整数；利用所述装置所包含的第一神经网络，基于n个样本图像来估计第1个样本图像的深度图和从拍摄其他样本图像的相机的坐标系变换至拍摄第1个样本图像的相机的坐标系的变换矩阵；基于所述变换矩阵来构建使得n个装置相互关联的第一损失函数；以及通过使包括所述第一损失函数的总体损失函数最小化来确定所述装置的参数。

根据本发明的另一方面，提供了一种深度估计设备，包括：经由上述方法训练的一个或更多个深度估计装置。

根据本发明的又一方面，还提供了一种计算机可读存储介质，存储有能够由处理器运行来执行以下操作的程序：向用于估计图像的深度的n个深度估计装置中的每个装置输入n个样本图像，输入至所述深度估计装置的n个样本图像的顺序被设置成使得各个深度估计装置所接收的第1个样本图像彼此不同，n为大于等于2的整数；利用所述深度估计装置所包含的第一神经网络，基于n个样本图像来估计第1个样本图像的深度图和从拍摄其他样本图像的相机的坐标系变换至拍摄第1个样本图像的相机的坐标系的变换矩阵；基于所述变换矩阵来构建使得n个深度估计装置相互关联的第一损失函数；以及通过使包括所述第一损失函数的总体损失函数最小化来确定所述深度估计装置的参数。

根据本发明的再一方面，还提供了一种程序。所述程序包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述方法。