[发明专利]空间神经网络深度补全方法、系统、设备及存储介质

说明书

本发明提供了一种基于自适应扩散核的空间神经网络深度补全方法、系统、设备及存储介质，包括如下步骤：获取RGB图像和稀疏深度散斑图像，RGB图像和稀疏深度散斑图像分别通过RGB相机、深度相机采集；获取预训练的深度补全模型，深度补全模型包括U型网络模型和扩散网络模型，扩散网络模型包括预设置的多种扩散图案；通过U型网络模型对输入述RGB图像和稀疏深度散斑图像生成稀疏深度散斑图像中每一像素对应的相邻像素相似矩阵，通过扩散网络模型对稀疏深度散斑图像每一像素根据相邻像素相似矩阵根选择对应的扩散图像进行深度补全生成稠密深度散斑图像。本发明不仅能够显著的提高深度补全的精度，而且在深度补全时显著提高了计算速度。

技术领域

本发明涉及深度相机，具体地，涉及一种基于自适应扩散核的空间神经网络深度补全方法、系统、设备及存储介质。

背景技术

ToF(time of flight)技术是一种从投射器发射测量光，并使测量光经过目标物体反射回到接收器，从而能够根据测量光在此传播路程中的传播时间来获取物体到传感器的空间距离的3D成像技术。常用的ToF技术包括点扫描投射方法和面光投射方法。

点扫描投射的ToF方法采用点投射器，投射出多束的准直光，该多束的准直光的投射方向受到扫描器件的控制从而能够投射到不同的目标位置。光束单束的准直光经过目标物反射后，部分光被光探测器接收，从而获取当前投射方向的深度测量数据。此种方法能够将所有的光功率集中在多个个目标点上，从而在目标点实现的高信噪比，进而实现高精度的深度测量。整个目标物体的扫描依赖于扫描器件，比如机械马达、MEMS、光相控雷达等。将扫描获得的深度数据点拼接即可获取3D成像所需的离散点云数据。此种方法有利于实现远距离的3D成像，但需要使用复杂的投射扫描系统，成本较高。

面光投射的ToF方法则是投射出一个能量连续分布的面光束。投射光连续覆盖目标物体表面。光探测器为一个能够获取光束传播时间的光探测器阵列。目标物体反射的光信号经过光学成像系统在光探测器上成像时，每个探测器像点获得的深度即为其物象关系对应物体位置的深度信息。这种方法能够摆脱复杂的扫描系统。然而，由于面光投射的光功率密度远低于单数的准直光，信噪比相对于单点扫描投射的方法大大下降，使得这种方法仅能够适用于距离减小，精度较低的场景。

但是通过点扫描投射的ToF方法得到的深度图像的具有稀疏特点，因此给深度补全带来算法上的挑战。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于自适应扩散核的空间神经网络深度补全方法、系统、设备及存储介质。

根据本发明提供的基于自适应扩散核的空间神经网络深度补全方法，包括如下步骤：

步骤S1：获取RGB图像和稀疏深度散斑图像，所述RGB图像和所述稀疏深度散斑图像分别通过RGB相机、深度相机采集；

步骤S2：获取预训练的深度补全模型，所述深度补全模型包括U型网络模型和扩散网络模型，所述扩散网络模型包括预设置的多种扩散图案；

步骤S3：通过所述U型网络模型对输入的所述RGB图像和所述稀疏深度散斑图像生成所述稀疏深度散斑图像中每一像素对应的相邻像素相似矩阵，通过所述扩散网络模型对所述稀疏深度散斑图像每一像素根据所述相邻像素相似矩阵根选择对应的扩散图像进行深度补全生成稠密深度散斑图像。

优选地，所述步骤S1包括如下步骤：

步骤S101：通过深度相机的光束投射器端向所述目标人物投射点阵光，通过深度相机的探测器端接收经所述目标人物反射后的所述点阵光；

步骤S102：所述深度相机根据所述探测器端接收到的所述点阵光生成所述目标人物的稀疏深度散斑图像；

步骤S103：通过RGB相机对所述目标人物采集RGB图像。

优选地，所述深度补全模型通过如下方法训练生成：