[发明专利]基于双目视觉的场景解析方法、机器人及存储装置

权利要求书

1.一种基于双目视觉的场景解析方法，其特征在于，具体包括以下步骤：

获取所述双目视觉对应的第一原始图像和第二原始图像，并分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征；

将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征进行组合，并进行深度估计运算后输出所述第一原始图像基于所述组合的多尺度特征的初级深度估计信息；

使用所述第一原始图像的多尺度特征进行语义分割计算，并输出所述第一原始图像对应的初级语义分割信息；

将所述初级深度估计信息、所述初级语义分割信息和所述第一原始图像的多尺度特征进行融合，然后输出最终的深度估计信息和语义分割信息。

2.根据权利要求1所述的场景解析方法，其特征在于，所述分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征的步骤包括：

通过采用相同的计算方式分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征。

3.根据权利要求2所述的场景解析方法，其特征在于，所述分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征的步骤包括：

通过基于ImageNet数据集所定义的公开的计算方式进行提取。

4.根据权利要求1所述的场景解析方法，其特征在于，将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征进行组合，并进行深度估计运算的步骤包括：

将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征以无监督学习的方式进行深度估计运算。

5.根据权利要求4所述的场景解析方法，其特征在于，所述将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征以无监督学习的方式进行深度估计运算的步骤包括：

将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征组合，并计算出所述第一原始图像的初级深度估计信息；

通过所述第一原始图像以及所述第一原始图像的初级深度估计信息重建所述第二原始图像对应的第二重建图像；

利用所述第二原始图像和所述第二重建图像构建损失函数，并通过所述损失函数进行无监督学习。

6.根据权利要求5所述的场景解析方法，其特征在于，所述利用所述第二原始图像和所述第二重建图像构建所述损失函数的步骤包括：

通过所述第二重建图像与所述第二原始图像间的结构相似性和图像像素值均方误差进行构建。

7.根据权利要求1所述的场景解析方法，其特征在于，所述将所述第一原始图像的多尺度特征进行语义分割的步骤包括：

对所述第一原始图像的多尺度特征进行编码，以逐渐提取所述第一原始图像的高维语义信息；

对所述高维语义进行解码，以逐渐获得所述初级语义分割信息的细节和空间维度。

8.根据权利要求7所述的场景解析方法，其特征在于，所述对所述高维语义进行解码，以逐渐获得所述初级语义分割信息的细节和空间维度的步骤包括：

通过反卷积的计算方式逐步获得所述初级语义分割信息的细节和空间维度。

9.一种机器人，其特征在于，所述机器人包括处理器和存储器，所述存储器存储程序数据，所述程序数据能够被所述处理器执行以实现如权利要求1-8任一项所述的场景解析方法。

10.一种存储装置，其特征在于，其上存储有程序数据，所述程序数据被执行以实现如权利要求1-8任一项所述的场景解析方法。