[发明专利]一种基于因果注意力的室内视觉导航方法

说明书

本发明涉及视觉导航技术，其公开了一种基于因果注意力的室内视觉导航方法，解决传统室内视觉导航方案存在的过度关注特征间虚假相关性，降低模型泛化能力的问题。该方法包括：对历史导航轨迹各位置处的导航方向图像进行聚类，计算聚类中心；接着，提取当前位置各观测方向的视觉特征、位置特征以及表征同各聚类中心距离的全局特征，并融合当前的历史状态特征，基于自注意力机制和因果注意力机制，计算获取视觉环境状态特征；然后，根据各方向视觉特征与视觉环境状态特征的相关性，预测当前位置导航动作，并根据预测导航动作和视觉环境状态特征更新历史状态特征，直至完成导航任务。

技术领域

本发明涉及视觉导航技术，具体涉及一种基于因果注意力的室内视觉导航方法。

背景技术

室内视觉导航是涉及室内视觉环境的导航任务，旨在依据从环境中观测的视觉图像，预测并执行导航动作，以到达指定目的地，完成导航目标。现有用以解决室内视觉导航的方法大致包括两个步骤，其一是视觉环境状态理解，其二是导航动作预测。

视觉状态理解类方法聚焦于理解观测的视觉图像信息、分析环境状态，通过构建具有复杂结构和机制的表征模型，对各时刻的环境视觉状态特征和历史状态特征进行提取。

导航动作预测类方法则旨在依据视觉状态特征预测导航动作，通过构建有效的路径规划策略、环境探索模式和奖励反馈机制，制定最佳导航动作序列，以到达指定目的地，完成导航任务。

由于室内视觉导航环境中复杂高维的状态空间，以及表示学习和大规模预训练模型等技术的发展，现有工作大多关注于视觉环境状态理解类方法。现有基于Transformer的室内视觉导航方法中，视觉环境状态理解类方法通过构建具有强大特征表征能力的表示模型，并从大规模图像预训练模型中获取的先验知识，显著地提升了导航模型的预测性能。然而，受环境隐藏因素的影响，该类方法存在过度关注虚假相关性的问题，在未知环境的泛化预测效果相对一般。

发明内容

本发明所要解决的技术问题是：提出一种基于因果注意力的室内视觉导航方法，解决传统室内视觉导航方案存在的过度关注特征间虚假相关性，降低模型泛化能力的问题。

本发明解决上述技术问题采用的技术方案是：

一种基于因果注意力的室内视觉导航方法，包括以下步骤：

A、数据准备

获取室内视觉图像数据集，所述室内视觉图像数据集包括一组导航轨迹数据，各导航轨迹数据分别包括由位置序列构成的导航轨迹以及导航轨迹上各位置处的视觉图像序列，各视觉图像序列分别包括在对应位置处各个观测方向的图像；

并基于导航轨迹数据，构建到达终点前导航轨迹各位置处的导航方向对应图像所构成的导航图像序列，所述导航方向对应图像为从对应位置的视觉图像序列中，按对应位置到达导航轨迹下一位置的方向所确定的图像；然后，对所有导航轨迹数据的导航图像序列，进行视觉特征提取并聚类，获得聚类中心；

B、通过室内视觉导航模型执行室内视觉导航任务：

B1、以导航起点位置作为初始的当前位置，并随机初始化历史状态特征；

B2、观测当前位置的各个观测方向，获得当前位置的视觉图像序列，提取当前位置视觉图像序列中各图像的视觉特征，并编码获得各观测方向的位置特征，并根据各图像的视觉特征与各聚类中心的距离，获得各图像的全局特征；

B3、将历史状态特征分别融入当前位置视觉图像序列中各图像的视觉特征，获得其各图像的视觉图像特征；

融合各图像的视觉图像特征及其位置特征，并通过自注意力机制，计算当前位置视觉图像序列各图像的自注意力特征；