[发明专利]一种基于非局部视觉建模的视觉语言导航方法及系统

说明书

本公开公开的一种基于非局部视觉建模的视觉语言导航方法及系统，包括：获取各可航点与机器人间的距离信息及朝向角信息；根据距离信息及朝向角信息，获取各可航点的位置编码信息；计算各可航点的位置编码信息与机器人不同视角的空间亲和度；对于各可航点根据可航点的位置编码信息与机器人不同视角的空间亲和度加权求和机器人不同视角的视觉特征，作为可航点的评价指标；根据机器人的状态信息对对各可航点的评价指标进行打分，选取分数最高的可航点进行探索。通过将可航点的距离信息引入可航点的表征中，并为每个可航点建立视觉特征，提高了视觉语言导航的准确性。

技术领域

本发明涉及机器人导航技术领域，尤其涉及一种基于非局部视觉建模的视觉语言导航方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

视觉语言导航是近些年新兴的非常重要且具有挑战性的任务，它在家庭服务机器人、无人驾驶等诸多方面都有着广泛的应用场景。导航过程中机器人会同时感知周围场景与指令，在预先定义好的可航点中前进。虽然近些年视觉语言导航任务已经取得大量的研究进展，但机器人在可航点与指令对齐的过程中仍然存在歧义性；同时不同可航点间也缺少区分力，存在可航点混淆问题。上述问题会导致机器人错选可航点，最终导航任务失败。

发明内容

本公开为了解决上述问题，提出了一种基于非局部视觉建模的视觉语言导航方法及系统，通过将可航点的距离信息引入可航点的表征中，并为每个可航点建立视觉特征，提高了视觉语言导航的准确性。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种基于非局部视觉建模的视觉语言导航方法，包括：

获取各可航点与机器人间的距离信息及朝向角信息；

根据距离信息及朝向角信息，获取各可航点的位置编码信息；

计算各可航点的位置编码信息与机器人不同视角的空间亲和度；

对于各可航点根据可航点的位置编码信息与机器人不同视角的空间亲和度加权求和机器人不同视角的视觉特征，作为可航点的评价指标；

根据机器人的状态信息对各可航点的评价指标进行打分，选取分数最高的可航点进行探索。

第二方面，提出了一种基于非局部视觉建模的视觉语言导航系统，包括：

信息获取模块，用于获取各可航点与机器人间的距离信息及朝向角信息；

位置编码模块，用于根据距离信息及朝向角信息，获取各可航点的位置编码信息；

空间亲和度获取模块，用于计算各可航点的位置编码信息与机器人不同视角的空间亲和度；

评价指标获取模块，用于对于各可航点根据可航点的位置编码信息与机器人不同视角的空间亲和度加权求和机器人不同视角的视觉特征，作为可航点的评价指标；

可航点选取模块，用于根据机器人的状态信息对各可航点的评价指标进行打分，选取分数最高的可航点进行探索。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于非局部视觉建模的视觉语言导航方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于非局部视觉建模的视觉语言导航方法所述的步骤。

与现有技术相比，本公开的有益效果为：