[发明专利]一种基于自然语言和机器视觉实现机器人自主导航的方法

说明书

本发明公开了一种基于自然语言和机器视觉实现机器人自主导航的方法，包括：1)机器人从初始位置开始，在每一轮对话即每一时刻都获取语言信息和视觉信息；2)通过注意力机制对语言信息进行特征提取获得语义特征；通过Resnet152对视觉信息进行特征提取，获得低阶视觉特征和图像分类特征；通过faster‑RCNN和U‑net对视觉信息进行特征提取，获得目标检测特征和语义分割特征；3)通过注意力机制将当前时刻及前一时刻的低阶视觉特征、图像分类特征、目标检测特征、语义分割特征和语义特征进行融合，得到融合特征；4)将融合特征输入softmax分类器中进行当前时刻的移动方向预测。本发明利用机器人所处环境的视觉信息和语言信息，在无需预先获取精确度量地图的条件下进行机器人自主导航。

技术领域

本发明涉及自然语言处理、图像处理、自主导航的技术领域，尤其是指一种基于自然语言和计算机视觉实现移动机器人室内自主导航的方法。

背景技术

近年来，机器人自主导航在生产生活中应用越来越广泛，越来越多的应用场景需要精确且高效的自主导航技术。以往的自主导航方法，需要先对环境进行一次扫描，获取精确的度量地图，根据精确度量地图进行自主导航。获取精确的度量地图需要消耗大量的人力和物力，并且基于精确度量地图的自主导航方法，难以迁移到未知环境下。因此基于自然语言和计算机视觉的自主导航方法的研究具有重大意义。

目前，机器人自主导航研究方面主要采用基于精确度量地图的方法，但还面临如下问题：

(1)获取精确度量地图需要消耗大量的资源和时间对环境预先进行扫描，获取精确度量地图的成本较大。

(2)在一些难以观测的复杂场景下，获取精确度量地图的难度和开销更大，基于精确度量地图的导航方法可能无法实施。

(3)导航效果取决于度量地图的精确程度，一些难以获取精确度量地图的场合，导航效果会变得很差。

(4)基于精确度量地图的自主导航方法，是基于环境的度量信息进行导航的，没有利用到语义信息，视觉信息，这使这类方法难以迁移到未知环境中。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于自然语言和机器视觉实现移动机器人室内自主导航的方法，能够利用机器人所处环境的视觉信息和自然语言对话记录，在无需预先获取精确度量地图的条件下进行机器人的自主导航。

为实现上述目的，本发明所提供的技术方案为：一种基于自然语言和机器视觉实现机器人自主导航的方法，包括以下步骤：

1)机器人从初始位置开始，在每一轮对话即每一时刻，都获取语言信息和视觉信息；其中，所述语言信息包括指示机器人目标位置的指令以及描述机器人所处环境的对话记录，所述对话记录包括当前位置即当前时刻产生的对话以及之前所有对话的集合，所述视觉信息包括机器人当前位置的全景图像信息；

2)通过注意力机制对语言信息进行特征提取，获得语义特征；通过Resnet152对视觉信息进行特征提取，获得低阶视觉特征以及图像分类特征；通过faster-RCNN和U-net分别对视觉信息进行特征提取，获得目标检测特征以及语义分割特征；

3)通过注意力机制将当前时刻以及前一时刻的低阶视觉特征、图像分类特征、目标检测特征、语义分割特征和语义特征进行融合，得到融合特征；

4)将融合特征输入softmax分类器中进行当前时刻的移动方向预测，其中在每一时刻，机器人都通过融合特征预测移动方向，最后当预测结果为停止时，即到达目标位置。