[发明专利]一种机器人视觉语义导航方法、装置及系统

说明书

本发明涉及机器人导航技术领域，公开了一种机器人视觉语义导航方法，包括以下步骤：建立场景图像集以及语音指令集；标注所述场景图像集中每一场景图像的图像特征，标注所述语音指令集中每一语音指令的语音特征；结合同一时间的图像特征和语音特征构建语义图谱，得到语义图谱集，标注所述语义图谱集中每一语义图谱的语义特征；融合同一时间的图像特征、语音特征以及语义特征构建状态向量，得到状态向量集；标注所述状态向量集中每一状态向量对应的动作序列，以所述状态向量集作为训练样本对对深度强化学习模型进行训练，得到导航模型；根据所述导航模型对机器人进行导航控制。本发明能够实现不在机器人视野范围内物体的导航。

技术领域

本发明涉及机器人导航技术领域，具体涉及一种机器人视觉语义导航方法、装置、系统以及计算机存储介质。

背景技术

语义和面向目标的导航是具有挑战性的任务，在日常生活中，视觉导航涉及多个问题。首先，机器人可能不知道环境信息，在这种情况下，机器人需要探索环境以更好地了解该环境。其次，机器人开始导航时，目标对象可能不可见，或者在导航过程中可能会超出视野。因此，机器人需要学习有效的搜索策略以找到目标对象。最后，该对象可能可见，但是规划通往对象的合理路径是机器人需要解决的另一个问题处理。

以往的导航方法为基于地图的导航SLAM(Simultaneous Localization andMapping，即时定位与地图构建，1988年被提出，对于完全未知的室内环境，配备激光雷达等核心传感器后，SLAM技术可以帮助机器人构建室内环境地图，助力机器人的自主行走。然而，这种方法无法寻找到视野范围内不可见的物体，只能对视野内可见物体建立地图，然后进行路径规划。

发明内容

本发明的目的在于克服上述技术不足，提供一种机器人视觉语义导航方法、装置、系统以及计算机存储介质，解决现有技术中机器人导航时无法对不在视野范围内的物体进行导航的技术问题。

为达到上述技术目的，本发明的技术方案提供一种机器人视觉语义导航方法，包括以下步骤：

收集机器人拍摄的场景图像，同时收集机器人接收的语音指令，建立场景图像集以及语音指令集；

标注所述场景图像集中每一场景图像的图像特征，标注所述语音指令集中每一语音指令的语音特征；

结合同一时间的图像特征和语音特征构建语义图谱，得到语义图谱集，标注所述语义图谱集中每一语义图谱的语义特征；

融合同一时间的图像特征、语音特征以及语义特征构建状态向量，得到状态向量集；

标注所述状态向量集中每一状态向量对应的动作序列，以所述状态向量集作为训练样本对对深度强化学习模型进行训练，得到导航模型；

根据所述导航模型对机器人进行导航控制。

本发明还提供一种机器人视觉语义导航装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述机器人视觉语义导航方法。

本发明还提供一种机器人视觉语义导航系统，包括所述机器人视觉语义导航装置，还包括机器人；

所述机器人包括视觉采集模块、语音采集模块、通讯模块以及移动控制模块；

所述视觉采集模块用于采集场景图像；

所述语音采集模块用于采集语音指令；

所述通讯模块用于将所述场景图像以及语音指令发送至所述机器人视觉语义导航装置，并接收所述机器人视觉语义导航装置发送的导航控制指令；

所述移动控制模块用于根据所述导航控制指令对机器人关节进行导航控制。