[发明专利]基于双目视觉的场景解析方法、机器人及存储装置

说明书

本发明公开了一种基于双目视觉的场景解析方法，包括：获取双目视觉对应的第一原始图像和第二原始图像，并分别提取第一原始图像的多尺度特征和第二原始图像的多尺度特征；将第一原始图像的多尺度特征和第二原始图像的多尺度特征进行组合，并进行深度估计运算后输出第一原始图像基于组合的多尺度特征的初级深度估计信息；使用第一原始图像的多尺度特征进行语义分割计算，并输出第一原始图像对应的初级语义分割信息；将初级深度估计信息、初级语义分割信息和第一原始图像的多尺度特征进行融合，然后输出最终的深度估计信息和语义分割信息。本申请能够提高计算效率，加快计算速度，提高计算精度。

技术领域

本申请涉及机器人行业的视觉识别技术领域，特别是涉及一种基于双目视觉的场景解析方法、机器人以及存储装置。

背景技术

双目视觉由于可以克服外部环境中主动光源的干扰，因而成为一种常用的视觉系统解决方案，在机器人、无人机中应用的越来越多。同时，由于机器人、无人机等需要在复杂多变、不确定或不受控制的环境下自主运行，必须具备对周遭环境和事物高效的识别、感知、理解、判断及行动能力，这些因素使得机器人和无人机对于视觉系统的依赖和要求越来越高。因此需要一套能使机器人、无人机对周遭环境和事物进行高效识别和感知的视觉系统。目前基于双目视觉的场景解析方法往往通过两个独立的子任务分别完成深度估计和语义分割，在对现有技术的研究和实践过程中，本发明的发明人发现这类场景解析方法计算冗杂，非常消耗计算资源，而且使用起来也较为繁琐。

发明内容

本发明主要解决的技术问题是如何提高计算效率，加快计算速度，提高计算精度。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于双目视觉的场景解析方法，所述方法包括：获取所述双目视觉对应的第一原始图像和第二原始图像，并分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征；将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征进行组合，并进行深度估计运算后输出所述第一原始图像基于所述组合的多尺度特征的初级深度估计信息；使用所述第一原始图像的多尺度特征进行语义分割计算，并输出所述第一原始图像对应的初级语义分割信息；将所述初级深度估计信息、所述初级语义分割信息和所述第一原始图像的多尺度特征进行融合，然后输出最终的深度估计信息和语义分割信息。

其中，所述分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征的步骤包括：通过采用相同的计算方式分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征。

其中，所述分别提取所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征的步骤包括：通过基于ImageNet数据集里所定义的公开的计算方式进行提取或者基于所述ImageNet数据集自定义计算方式进行提取。

其中，将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征进行组合，并进行深度估计运算的步骤包括：将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征以无监督学习的方式进行深度估计运算。

其中，所述将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征以无监督学习的方式进行深度估计运算的步骤包括：将所述第一原始图像的多尺度特征和所述第二原始图像的多尺度特征的组合，并计算出所述第一原始图像的初级深度估计信息；通过所述第一原始图像以及所述第一原始图像的初级深度估计信息重建所述第二原始图像对应的第二重建图像；利用所述第二原始图像和所述第二重建图像构建损失函数，并通过所述损失函数进行无监督学习。

其中，所述利用所述第二原始图像和所述第二重建图像构建所述损失函数的步骤包括：通过所述第二重建图像与所述第二原始图像间的结构相似性和图像像素值均方误差进行构建。

其中，所述使用所述第一原始图像的多尺度特征进行语义分割计算的步骤包括：对所述第一原始图像的多尺度特征进行编码，以逐渐提取所述第一原始图像的高维语义信息；对所述高维语义进行解码，以逐渐获得所述初级语义分割信息的细节和空间维度。