[发明专利]用于智能体路径规划的方法和存储介质

权利要求书

1.一种用于智能体路径规划的方法，其特征在于，包括：

步骤S1：建立智能体工作环境地图，并初始化智能体位置；

步骤S2：根据目标位置和所述智能体位置，对智能体的方向状态和探测状态进行离散化，并初始化Q值表；

根据目标位置和智能体位置，确定若干记忆节点，所述智能体以所述记忆节点为目标导向，并在移动过程中根据探测信息添加其它记忆节点，根据所述若干记忆节点和所述其它记忆节点建立记忆池；

所述智能体根据移动过程中获得的回报更新所述Q值表，直到所述智能体到达所述目标位置或者所述智能体尝试次数超过第一预设阈值；

步骤S3：根据离散后的方向状态、离散后的探测状态、所述Q值表和所述智能体的移动距离，更新所述记忆池中的记忆节点，得到更新后记忆池；

步骤S4：所述智能体根据所述更新后记忆池规划路径，到达所述目标位置。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：

步骤S21：根据所述目标位置和所述智能体位置，得到智能体与所述目标位置之间的夹角后，将所述目标位置和所述智能体位置的相对方向离散化，得到离散化的方向状态；

步骤S22：所述智能体探测到障碍物时，获取所述障碍物的类型和所述智能体与所述障碍物的距离，得到离散化的探测状态。

3.根据权利要求1或2所述的方法，其特征在于，通过人工势场初始化Q值表，对于动态障碍物设定斥力势场。

4.根据权利要求3所述的方法，其特征在于，通过以下公式计算得到斥力势场，斥力势场函数G’，

其中，ξ为斥力折扣因子，ξ∈[0,1],d_now为所述智能体在当前状态距离所述目标位置的欧氏距离，d₀为动态障碍物斥力的影响范围，超出所述影响范围所述智能体不受斥力影响。

5.根据权利要求4所述的方法，其特征在于，所述步骤S2进一步包括：

步骤S23：通过以下公式初始化Q值表，

其中，Q(s,a)为所述智能体在状态s时选择动作a的动作值函数，r为所述智能体在状态s时选择动作a移动到下一状态的立即回报，G为引力势场函数，ζ为引力折扣因子,ζ∈[0,1]，d_max为所述智能体距离所述目标位置的最大距离。

6.根据权利要求4所述的方法，其特征在于，所述步骤S2进一步包括：

步骤S24：根据所述智能体位置确定起始记忆节点，根据所述目标位置确定最终记忆节点；

所述智能体探测到障碍物时，沿所述障碍物两边探索至无障碍物，得到两个子节点，分别计算两个所述子节点与上一记忆节点和下一记忆节点的距离之和，所述距离之和较小的子节点作为记忆节点添加。

7.根据权利要求6所述的方法，其特征在于，所述步骤S2进一步包括：

步骤S25：通过以下公式更新所述Q值表，

其中，α为学习率，γ为折扣因子，γ∈[0,1]，max_aQ(s′,a′)为从下一状态s′选择最大动作值函数。

8.根据权利要求6所述的方法，其特征在于，所述记忆池采用拓扑结构。

9.根据权利要求8所述的方法，其特征在于，所述步骤S3进一步包括：

步骤S31：顺序遍历所述记忆池中每一个记忆节点，初始化所述智能体位置为所述记忆节点的位置，以下一记忆节点为目标导向；

步骤S32：获取所述智能体当前离散后的方向状态和探测状态后，根据动作选择策略得到动作并执行，进入下一状态；

步骤S33：在移动过程中，判断是否需要添加其它记忆节点；

步骤S34：到达所述下一记忆节点后，判断原记忆池中两记忆节点间距离是否大于本次两记忆节点间距离，若是，用本次移动过程中添加的记忆节点替代原记忆池中的记忆节点，否则，以记忆池中接续的记忆节点为目标导向，转入步骤S32，直到所述智能体到达最终记忆节点，得到所述更新后记忆池。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至9中任一项所述的用于智能体路径规划的方法。