[发明专利]基于部分感知马氏决策过程的机器人最优路径规划方法

权利要求书

1.一种基于部分感知马氏决策过程的机器人最优路径规划方法，其特征在于，包括如下步骤：

S1、初始化模型和环境，设置环境的状态迁移函数f:X×U×X→[0,1]，奖赏函数观察函数Ω:U×X×Z→[0,1]，其中X为状态集合，U为动作集合，Z为观察集合，设置折扣率γ为0.95，设置机器人的位置，设置初始信念状态b₀的初始值：下界的标准临界值L和上界的标准临界值其中是预先指定的阈值标准，计算初始信念状态b₀的上界值和下界值V(b₀)，转入S2；

S2、将初始信念状态b₀置为当前信念状态b，转入S3；

S3、预测当前信念状态b的最优值转入S4；

S4、判断当前信念状态b是否满足如下条件：且其中d_b为当前信念状态b的深度，如满足，则转入S13，如不满足，则转入S5；

S5、计算当前信念状态b下，每个动作的值函数下界值，选取这些下界值中的最大值Q，更新当前信念状态b的上界的标准临界值U′和下界的标准临界值L′，转入S6；

S6、计算最优动作和对初始信念状态b₀贡献最大的观察，并记录观察的总数count，转入S7；

S7、顺序选择观察集中的观察，若count不为0，转入S8，否则转入S11；

S8、count值减少1，转入S9；

S9、判断当前选择的观察是否有探索的价值，若是，则转入S10，若否，则转入S7；

S10、计算下一信念状态的上界的标准临界值和下界的标准临界值，获得下一信念状态的上界值和下界值，转入S7；

S11、更新当前信念状态的上界值和下界值，转入S12；

S12、选择最优动作进入下一信念状态，将下一信念状态置为当前信念状态，转入S3；

S13、获得最优策略，根据最优策略获得机器人的最优路径。

2.根据权利要求1所述的基于部分感知马氏决策过程的机器人最优路径规划方法，其特征在于，S2中，初始信念状态b₀的下界值采用盲策略计算，初始信念状态b₀的上界值采用快速通知约束方法计算。

3.根据权利要求1所述的基于部分感知马氏决策过程的机器人最优路径规划方法，其特征在于，S5中，当前信念状态b的下界的标准临界值采用如下公式计算：L′＝max{L，Q}，当前信念状态b的下界的标准临界值采用如下公式计算：其中Q表示每个动作的值函数下界值中的最大值。