[发明专利]一种基于进度预测的自监督视觉语言导航器及路径缩短方法

权利要求书

1.一种基于进度预测的自监督视觉语言导航器，其特征在于，包括如下内容：多信息导航器(Multi-Grounding Navigator,MGN)，用于根据进度预测器模块预测的未来导航进度来生成动作概率分布，包含进度预测器模块(Path Predictor,PP)，用于预测当前指令和动作所对应的未来导航进度；路径缩短模块，在得到动作概率分布后，选择最优概率的J个动作，利用进度预测器预测未来的进度，选择更加靠近目标的动作执行，从而降低路径长度；自监督模块(Self-Supervised,SS)，包括多信息导航器、进度预测器、进度监视器，所述自监督模块根据进度预测器模块和额外的进度监视器的反馈，在不可见的环境中对机器人进行自我训练。

2.根据权利要求1所述的一种基于进度预测器的自监督视觉语言导航器，其特征在于，所述自监督视觉语言导航器中对未来导航进度的预测方法如下：

其中，是第k个可导航方向上的未来进程，W_h和W_PP是可学习的参数，σ是sigmoid函数，并且LSTM的隐藏状态是h_t，当前指令特征为动作为a_t,k，第k个可导航方向的航向角是

3.根据权利要求1所述的一种基于进度预测器的自监督视觉语言导航器，其特征在于：所述多信息导航器MGN的工作流程如下：

MGN主要由视觉信息、文本信息和进度信息构成，输入为上一步动作a_t-1、LSTM上一步隐藏状态h_t-1和训练迭代次数N，输出为带训练参数的进度预测器。考虑第t步时的导航器MGN，算法步骤如下：

步骤一：计算加权的视觉特征和文本特征；

步骤二：利用进度预测器计算每个可导航方向的未来进度，得到基于未来进度的加权视觉特征；

步骤三：更新LSTM网络；

步骤四：给定LSTM网络新的隐藏状态和加权文本特性，估计动作的分布并选择执行概率最大的动作；

步骤五：选择动作后，使用进度预测器来预测当前进度并计算损失；步骤六：使用随机梯度下降(SGD)方法对参数进行更新；

步骤六：使用随机梯度下降(SGD)方法对参数进行更新，

在导航器MGN的训练阶段，损失函数为：

其中，是第t步的地面实况可航方向；p_t是动作的概率；是利用进度预测期获得的当前进度估计；λ＝0.5是平衡两个损失的权重；y_t表示值为0～1的真实进度。

4.一种如权利要求1所述自监督视觉语言导航器的路径缩短方法，其特征在于，所述路径缩短(Path Shortening,PS)方法的步骤如下：

步骤A：在得到动作的分布后，找到动作分布概率最大的J个动作；

步骤B：利用进度预测器对所有J个动作的未来进度进行预测；

步骤C：采取进度最好的动作，而不是执行可能性最大的行动。

5.根据权利要求1所述的一种基于进度预测器的自监督视觉语言导航器，其特征在于，自监督模块的工作流程如下：进度监视器用于估计当前进度，进度预测器用于预测未来进度，导航进度是当前位置到起点的距离与总路径长度的比值，因此当前进度与未来进度之间存在如下关系：

其中p_t和D_t分别代表在第t步的导航进度和到起点的距离，D_total是完整的路径长度。