[发明专利]空间神经网络深度补全方法、系统、设备及存储介质

权利要求书

1.一种基于自适应扩散核的空间神经网络深度补全方法，其特征在于，包括如下步骤：

步骤S1：获取RGB图像和稀疏深度散斑图像，所述RGB图像和所述稀疏深度散斑图像分别通过RGB相机、深度相机采集；

步骤S2：获取预训练的深度补全模型，所述深度补全模型包括U型网络模型和扩散网络模型，所述扩散网络模型包括预设置的多种扩散图案；

步骤S3：通过所述U型网络模型对输入的所述RGB图像和所述稀疏深度散斑图像生成所述稀疏深度散斑图像中每一像素对应的相邻像素相似矩阵，通过所述扩散网络模型对所述稀疏深度散斑图像每一像素根据所述相邻像素相似矩阵根选择对应的扩散图像进行深度补全生成稠密深度散斑图像。

2.根据权利要求1所述的基于自适应扩散核的空间神经网络深度补全方法，其特征在于，所述步骤S1包括如下步骤：

步骤S101：通过深度相机的光束投射器端向目标人物投射点阵光，通过深度相机的探测器端接收经所述目标人物反射后的所述点阵光；

步骤S102：所述深度相机根据所述探测器端接收到的所述点阵光生成所述目标人物的稀疏深度散斑图像；

步骤S103：通过RGB相机对所述目标人物采集RGB图像。

3.根据权利要求1所述的基于自适应扩散核的空间神经网络深度补全方法，其特征在于，所述深度补全模型通过如下方法训练生成：

步骤M101：获取RGB图像训练集和稀疏深度散斑图像训练集，所述RGB图像和所述稀疏深度散斑图像分别通过RGB相机、深度相机对目标人物采集生成；

步骤M102：将所述RGB图像训练集和所述稀疏深度散斑图像训练集输入基于卷积神经网络的深度补全模型生成深度预补全散斑图像；

步骤M103：根据预设置的标准深度散斑图像确定所述深度预补全散斑图像的损失函数，所述标准深度散斑图像为预采集的所述目标人物的密集深度散斑图像；

步骤M104：重复执行步骤M101至步骤M103，直至所述损失函数达到预设置的损失阈值范围内。

4.根据权利要求1所述的基于自适应扩散核的空间神经网络深度补全方法，其特征在于，所述步骤S3包括如下步骤：

步骤S301：所述U型网络模型根据输入的所述RGB图像和所述稀疏深度散斑图像生成所述稀疏深度散斑图像中每一像素对应的相邻像素相似矩阵；

步骤S302：根据每一像素对应的所述相邻像素相似矩阵在预设置的所述多种扩散图案选择对应的扩散图案；

步骤S303：对每一像素根据对应的所述扩散图案计算位于中心的该像素的深度值，即实现该像素的深度补全；

步骤S304：重复执行步骤S302至步骤S303，生成稠密深度散斑图像。

5.根据权利要求1所述的基于自适应扩散核的空间神经网络深度补全方法，其特征在于，所述扩散图案包括如下多种图案：

通过八临域像素进行中心像素深度计算的扩散图案；

通过八临域中相对称的两像素进行中心像素深度计算的扩散图案；

通过八临域中任意的至少三像素进行中心像素深度计算的扩散图案；

通过5×5像素矩阵中任意的至少8个像素进行中心像素深度计算的扩散图案；

通过7×7像素矩阵中任意的至少10个像素进行中心像素深度计算的扩散图案。

6.根据权利要求1所述的基于自适应扩散核的空间神经网络深度补全方法，其特征在于，所述U型网络包括卷积网络和反卷积网络，且卷积网络与反卷积网络连接构成U型结构；

所述卷积网络与反卷积网络分别包括若干层组合卷积块，所述组合卷积块用于对输入的所述RGB图像和所述稀疏深度散斑图像进行特征提取；

所述组合卷积块包括若干个不同大小的卷积核。