[发明专利]基于部分感知马氏决策过程的机器人最优路径规划方法

摘要

本发明公开了基于部分感知马氏决策过程的机器人最优路径规划方法，机器人寻找到达目标位置的最优路径，以POMDP模型和SARSOP算法为基础，使用GLS搜索方法作为搜索时的启发式条件，在连续状态大规模观察空间问题中，使用本发明可避免早期经典算法使用基于试验作为启发式条件重复更新多条相似路径中，更新信念状态上下界的次数，且不影响最终的最优策略，提高算法效率，在相同时间内，机器人能够火车更优的策略，找到更优的路径。

主权项

1.一种基于部分感知马氏决策过程的机器人最优路径规划方法，其特征在于，包括如下步骤：S1、初始化模型和环境，设置环境的状态迁移函数，奖赏函数，观察函数，其中为状态集合，为动作集合，为观察集合，设置折扣率为0.95，设置机器人的位置，设置初始信念状态的初始值：下界的标准临界值和上界的标准临界值，其中是预先指定的阈值标准，计算初始信念状态的上界值和下界值，转入S2；S2、将初始信念状态置为当前信念状态，转入S3；S3、预测当前信念状态的最优值，转入S4；S4、判断当前信念状态是否满足如下条件：，且，其中为当前信念状态的深度，如满足，则转入S13，如不满足，则转入S5；S5、计算当前信念状态下，每个动作的值函数下界值，选取这些下界值中的最大值，更新当前信念状态的上界的标准临界值和下界的标准临界值，转入S6；S6、计算最优动作和对初始信念状态贡献最大的观察，并记录观察的总数count，转入S7；S7、顺序选择观察集中的观察，若count不为0，转入S8，否则转入S11；S8、count值减少1，转入S9；S9、判断当前选择的观察是否有探索的价值，若是，则转入S10，若否，则转入S7；S10、计算下一信念状态的上界的标准临界值和下界的标准临界值，获得下一信念状态的上界值和下界值，转入S7；S11、更新当前信念状态的上界值和下界值，转入S12；S12、选择最优动作进入下一信念状态，将下一信念状态置为当前信念状态，转入S3；S13、获得最优策略，根据最优策略获得机器人的最优路径。