[发明专利]一种图像处理方法、装置及设备

说明书

本申请提供了一种图像处理方法、装置及设备，涉及终端技术领域。该方法可以利用目标场景的图像对应的相对深度图，对该目标场景对应的原始稀疏深度图中的有效点进行筛选，以剔除了原始稀疏深度图中的异常值；以及将剔除异常值的原始稀疏深度图和该目标场景的图像输入至神经网络，以得到所需的深度图。由此，通过剔除原始稀疏深度图中的异常值，减少了后续处理过程中深度图的变形失真，提升了后续处理得到的深度图的质量。

技术领域

本申请涉及终端技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

获取场景的深度图是手机等设备为用户提供增强现实(augmented reality，AR)体验的关键技术。其中，设备可以通过场景的深度图，感知和理解到其所处的客观环境，进而实现场景重建、虚实遮挡等功能。因此，场景的深度图的完整度、准确度和精细度影响了后续AR特效的体验。

发明内容

本申请提供了一种图像处理方法、装置、设备、计算机存储介质及计算机程序产品，能够利用目标场景的相对深度图对原始稀疏深度图中的有效点进行筛选，剔除了原始稀疏深度图中的异常值，减少了深度图的变形失真，提升了后续处理得到的深度图的质量。

第一方面，本申请提供一种图像处理方法，包括：获取目标场景的第一图像；将第一图像输入至第一神经网络，以得到第一图像对应的第一深度图；获取目标场景对应的第二深度图，第二深度图至少用于表征目标场景中所包含的部分景物的深度信息，其中，第二深度图所包含的深度信息少于或等于第一深度图所包含的深度信息；基于第一深度图，剔除第二深度图中的异常值，得到第三深度图；将第一图像和第三深度图输入至第二神经网络，以得到第四深度图；输出第四深度图。这样，利用目标场景的相对深度图(即第一深度图)对原始稀疏深度图(即第二深度图)中的有效点进行筛选，剔除了原始稀疏深度图中的异常值，减少了深度图的变形失真，提升了后续处理得到的深度图的质量。示例性的，第一神经网络和第二神经网络可以为同一个神经网络。

在一种可能的实现方式中，将第一深度图和第三深度图输入至第二神经网络之前，还包括：基于尺度因子，对第三深度图进行尺度变换，尺度因子基于第一深度图和第二深度图确定，尺度因子用于表征第一深度图和第二深度图之间的比例；输出第四深度图之前，还包括：基于尺度因子，对第四深度图进行尺度反变换。由此通过尺度变换使得输入至神经网络中的深度图对应的图像条件可以与该神经网络的训练数据集相匹配，降低了神经网络输出的深度图对应的尺度与真实值间的误差，保证了深度估计结果符合实际尺度，提升了神经网络输出的深度图的质量，同时也提升了深度估计算法的通用性。

在一种可能的实现方式中，当尺度因子用于表征第二深度图相对于第一深度图的比例时，基于尺度因子，对第三深度图进行尺度变换，具体包括：将第三深度图中的每个点对应的深度值均除以尺度因子；基于尺度因子，对第四深度图进行尺度反变换，具体包括：将第四深度图中的每个点对应的深度值均乘以尺度因子。

在一种可能的实现方式中，当尺度因子用于表征第一深度图相对于第二深度图的比例时，基于尺度因子，对第三深度图进行尺度变换，具体包括：将第三深度图中的每个点对应的深度值均乘以尺度因子；基于尺度因子，对第四深度图进行尺度反变换，具体包括：将第四深度图中的每个点对应的深度值均除以尺度因子。

在一种可能的实现方式中，基于尺度因子，对第三深度图进行尺度变换之前，还包括：确定第一图像的图像条件与第二神经网络对应的训练数据集不匹配，其中，图像条件包括视场角和横纵比中的一项或多项。由此，在第一图像的图像条件与第二神经网络对应的训练集不匹配时再进行尺度变换，降低了系统的计算量，提升了系统的稳定性，节省了功耗。示例性的，训练数据集可以理解为训练时所用到的数据的集合。