[发明专利]提升ToF深度图像处理方法、3D图像成像方法及电子设备

说明书

本发明公开了一种提升ToF深度图像处理方法，包括：（1）获取TOF相机采集的深度图像和RGB相机采集的两彩色图像；（2）获取深度图像中每个像素的深度误差，依据双目视觉技术计算彩色图像中像素的深度数值；（3）将每个像素的深度误差和彩色图像中对应像素的深度数值之和作为每个像素的最大距离值；（4）依据最大距离值对深度图像进行相位展开以生成与彩色图像分辨率相同的重建深度图像。本发明依据对应像素的误差以及深度数值校正深度图像中每个像素的最大距离值，并以此对深度图像展开生成与彩色图像分辨率一致的重建深度图像，有效解决分辨率采集上的不足，保证深度图像的准确性。本发明还公开了对应的3D图像成像方法以及电子设备、可读存储介质。

技术领域

本发明涉及一种图像处理方法，尤其涉及一种提升ToF深度图像处理方法、3D图像成像方法及电子设备。

背景技术

ToF技术是通过分析从光源到物体的飞行和返回时间的已知飞行时间的相机系统用于提供关于到物体的距离（深度）的信息。ToF技术的基本操作原理是用调制光（例如脉冲）照射场景。诸如这些光脉冲的调制光从场景中的物体反射回来，并且反射光透镜在图像传感器上，特别是在传感器的传感器表面上聚焦在场景中的物体上以形成图像。ToF技术的一个基本应用是三维（3D）图像的拍摄场景，即能够捕获二维信息并同时获取场景深度或距离信息的相机模组。

理论上来讲，如果利用ToF相机系统获取一系列的特定场景的不同角度的图像序列，并配合空间点云的匹配技术，既能够还原整个拍摄场景的3D空间信息，进而实现3D重建的效果。

ToF相机系统的另一个关键部件是成像传感器。成像传感器通常包括形成场景图像的像素阵列。另外，像素的输出是从照射单元到场景中的物体的光，并且从物体反射回到成像传感器的光可以用于确定飞行时间。但是由于硬件发展的限制，现有的成像传感器普遍单位面积上的像素数量较低，进而限制了ToF相机的尺寸，所以现在多数移动设备上的ToF相机普遍分辨率较低（目前能作为移动设备相机的ToF分辨率最高的也不过320*240）

为此，长春理工大学提出一种ToF相机的深度图像增强方法（CN 106780383 A，ToF相机的深度图像增强方法），属于深度图像处理方法。将深度图像首先进行噪声抑制处理，然后利用图像中的像素间距离和边缘方向信息，对滴分辨率的ToF深度图像进行插值放大。然而，CN 106780383 A提到的技术虽然提高了深度图像的分辨率，但是仅从ToF获取的深度图像本身来进行插值计算，不能解决ToF深度图像根本的辨析度低的问题，原本ToF相机硬件精度导致的深度图像不能体现的细节，依然不能得到改善。

天津大学提出了一种基于主被动融合的高分辨率深度图获取方法(CN 105869167A，基于主被动融合的高分辨率深度图获取方法)，首先对ToF低分辨率深度图进行稀疏式上采样和视差图计算，将ToF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成ToF视差点阵；进行立体匹配和ToF深度融合，计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视图差。CN105869167 A虽然能够提升深度图的质量，并且在细节上，尤其是边界区域会有很好的保留和增强，但由于其方法限制，未通过双目差异计算视觉差，不能在深度细节上提升质量；而且，此发明中，未有对色彩与深度点云的融合做计算，所以在模型重建中，对模型的细节表达不足够。

故，急需一种可解决上述问题的深度图像处理方法。

发明内容

本发明的目的是提供一种提升ToF深度图像处理方法以及3D图像成像方法，可有效提升TOF相机在分辨率采集上的不足，获取分辨率高的像素深度图像。