[发明专利]一种基于自然语言和语义地图实现机器人自主导航的方法

权利要求书

1.一种基于自然语言和语义地图实现机器人自主导航的方法，其特征在于，包括以下步骤：

1)获取机器人所处环境的语义地图，包括出发点、目的地及其它位置之间的拓扑关系；其中，所述机器人所处环境的语义地图是指用于描述机器人所处环境的拓扑地图，包括表示环境中各个区域的顶点和表示顶点间相互通达关系的边；

2)将获取到的语义地图中各个位置用顶点表示，用顶点间的边表示顶点的通达关系，将每一对顶点之间的通达关系描述成三元组；

3)通过两组双层GRU编码器分别提取已描述成三元组集合的语义地图的特征和自然语言指令的特征，包括以下步骤：

3.1)每个包含N个三元组的语义地图M及每个包含L个词语的自然语言指令I分别描述为：

M＝{＜p₁,b₁,q₁,...,p_N,b_N,q_N＞}

I＝{l₁,...,l_L}

其中：地图中的第i个三元组表示为＜p_i,b_i,q_i＞，下标i＝1,2,3,...,N表示N个三元组的索引号；自然语言指令中的第i个词语表示为l_i，下标i＝1,2,3,...,L表示自然语言指令中L个词语的索引号；

3.2)将三元组通过embedding层用向量表示，将自然语言指令通过embedding层用向量表示，三元组的向量表示和自然语言指令的向量表示分别描述为：

E_M＝{g₁,...,g_N}

E_L＝{i₁,...,i_L}

其中：语义地图中第i个三元组的embedding向量表示为g_i，下标i＝1,2,3,...,N表示N个三元组的embedding向量索引号；自然语言指令中第i个单词的embedding向量表示为i_i，下标i＝1,2,3,...,L表示自然语言指令中L个单词的embedding向量索引号；

3.3)将语义地图的embedding向量和自然语言指令的embedding向量分别通过双层GRU进行编码，获取特征向量，语义地图和自然语言指令的特征向量分别描述为：

F_M＝{fg₁,....,fg_N}

F_L＝{fi₁,...,fi_L}

其中：第i个三元组的特征向量表示为fg_i，下标i＝1,2,3,...,N表示N个三元组的特征向量索引号；自然语言指令中第i个词语的特征向量表示为fi_i，下标i＝1,2,3,...,L表示自然语言指令中L个词语的特征向量索引号；

4)通过注意力机制将语义地图的特征和自然语言指令的特征融合，包括以下步骤：

4.1)对每一个三元组的特征向量，计算其关于自然语言指令中每个词语对应特征向量的注意力，其过程描述为：

e_i＝[fg_iWfi₁,...,fg_iWfi_L]

a_i＝softmax(e_i)

其中，W表示不同维度的特征向量相乘时的权重，e_i表示语义地图特征fg_i关于自然语言指令的每一个特征向量的注意力向量，a_i表示语义地图特征fg_i关于自然语言指令的每一个特征向量的权重，fi_l表示自然语言指令中第l个词语的特征向量；

4.2)通过注意力权重将语义地图特征和自然语言指令特征融合，其过程描述为：

R＝{R₁，...,R_N}

其中，R_i表示N个融合特征向量第i个融合的特征向量，a_ij表示第i个三元组特征对第j个自然语言指令特征的注意力权重，fi_j表示第j个自然语言指令特征；

5)通过双层GRU解码器逐步生成导航指令；

6)将解码得到的导航指令转换成机器人能够执行的指令序列，机器人根据指令序列进行自主导航。