[发明专利]全景深度估计方法、装置、终端设备及存储介质

说明书

本发明公开了一种全景深度估计方法、装置、终端设备及存储介质，所述方法包括：采集全景图像；对所述全景图像进行预处理，得到上部图像、下部图像和极角；利用所述上部图像、所述下部图像和所述极角得到初始代价体；对所述初始代价体进行处理，以得到视差图像；对所述视差图像进行优化处理，得到深度图像。根据本发明实施例的技术方案，能够减少图像处理过程中的畸变，提高了深度估计的准确度。

技术领域

本发明涉及图像处理领域，特别涉及一种全景深度估计方法、装置、终端设备及存储介质。

背景技术

传统的基于立体匹配的双目深度估计算法可大致分为局部(local method)和全局(global method)，局部算法可以更快的计算出匹配结果，但其受到环境的影响且鲁棒性较低；全局立体匹配算法能够计算出更具有全局上下文信息的视差，但是需要引入到复杂的优化问题，总的来说，传统的立体匹配算法步骤可分为：匹配代价计算、代价聚合、视差估计、视差优化。

随着深度学习在立体匹配算法上的发展，基于学习的方法(learning basedmethods)越来广泛，比如可学习的匹配代价和代价回归等，这种非端到端的深度学习算法相较于传统算法有很好的性能提升，但是其计算量较大且感受野有限、缺乏上下文(context)信息。相教于非端到端(Non-end-to-end)的算法，端到端(end-to-end)算法更容易设计且具有更好的活力和发展前景,但其对环境配置要求较高，需要真实的标注数据。目前端到端算法主要分为二维编解码机构(2D encoder-decoder structure)和三维正则化结构(3D regularization structure)，其中三维正则化结构以输入源分又可分为以普通图像对为输入源和以全景图为输入源，两者的网络结构流程大致相同，但全景图相较于普通图像来说，存在大量畸变且几何关系并不明显。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明提出一种全景深度估计方法，能够减少图像处理过程中的畸变，提高了深度估计的准确度。

本发明还提出一种应用上述全景深度估计方法的全景深度估计装置。

本发明还提出一种应用上述全景深度估计方法的终端设备。

本发明还提出一种应用上述全景深度估计方法的计算机可读存储介质。

根据本发明第一方面实施例的全景深度估计方法，包括：

采集全景图像；

对所述全景图像进行预处理，得到上部图像、下部图像和极角；

利用所述上部图像、所述下部图像和所述极角得到初始代价体；

对所述初始代价体进行处理，以得到视差图像；

对所述视差图像进行优化处理，得到深度图像。

根据本发明实施例的全景深度估计方法，至少具有如下有益效果：首先采集全景图像，然后对全景图像进行预处理，得到了上部图像、下部图像和极角；在图像处理的过程中加入极角这一因素，能够很好地减少图像处理过程中产生的畸变，从而提高了深度估计的准确度；并且将由初始代价体得到的视差图像进行优化处理，从而能够得到精准度较高的深度图像。

根据本发明的一些实施例，所述利用所述上部图像、所述下部图像和所述极角得到初始代价体，包括：

利用权重共享神经网络对所述上部图像、所述下部图像和所述极角进行特征提取，以得出分别相对应的上部特征图像、下部特征图像和极角特征信息；

将所述上部特征图像和所述下部特征图像分别与所述极角特征信息进行特征融合，分别相对应得到主代价体和变形代价体；

将所述主代价体和所述变形代价体融合成所述初始代价体。