[发明专利]一种基于模型强化学习的智能体路径规划方法及系统

权利要求书

1.一种基于模型强化学习的智能体路径规划方法，其特征在于，包括：

获取智能体与环境交互的轨迹图像；

将轨迹图像中隐状态作为抽象状态，依照样本的回报大小划分正负样本，正负样本之间通过对比学习，使得正样本投影到同一隐状态，负样本投影到不同隐状态，得到投影后的样本；

将抽象学习和模型学习相结合构建带约束的智能体路径规划优化目标模型；再基于KKT条件通过引入超参数构建联合损失函数；将投影后的样本输入联合损失函数中进行求解得到智能体路径规划；

输出所述智能体路径规划用于智能体根据所述智能体路径规划作出控制决策。

2.根据权利要求1所述的基于模型强化学习的智能体路径规划方法，其特征在于，所述获取智能体与环境交互的轨迹图像，包括：

给定一个局部可观测马尔可夫决策过程，包括离散的时间t∈N，t时刻的高维观测值o_t∈O，动作a_t∈A，奖励值r_t∈R以及隐状态z_t∈Z；

智能体与环境交互分别得到两段轨迹图像，分别是

和

分别表示第j个轨迹的时刻i的隐状态；

同一时刻的嵌入向量和隐状态组合为正样本；不同时刻的嵌入向量和隐状态为负样本；

定义一个集合φ_o＝{(o_i，o_j)|o_i，o_j∈O，o_i～p(o_j)，o_j～p(o_j)，其中，是将观测值映射到隐状态空间的编码器，p(o_t)＝p(o_t|o＜t，a＜t)表示根据t时刻之前的观测值和动作得到的t时刻的观测值的分布，O是观测值空间，φ₀表示观测值空间O中映射到同一个隐状态的观测值对的组合的全体集合，任意(o_i，o_j)∈φ_o，其对应的隐状态z_i与z_j相同；给定一个t时刻的观测值o_t～p(o_t)及对应的隐状态z_t∈Z，定义一个集合ψ(z_t)＝{o_j|(o_i，o_j)∈φ_O}表示所有映射到z_t的观测值的集合。

3.根据权利要求1所述的基于模型强化学习的智能体路径规划方法，其特征在于，所述将轨迹图像中隐状态作为抽象状态，依照样本的回报大小划分正负样本，包括：

对于任意(o_i，o_j)∈φ_o，采取信息噪声对比估计学习方法使得符合条件的隐状态一致性；从抽象的角度得到如式所示的优化目标：

式中，ψ(z_t)表示所有映射到z_t的观测值的集合；f_θ(o_j，z_t)是一个非负函数，其作用是衡量隐状态z_t和观测值o_j的相似度；为常量。

4.根据权利要求1所述的基于模型强化学习的智能体路径规划方法，其特征在于，所述正负样本之间通过对比学习，使得正样本投影到同一隐状态，负样本投影到不同隐状态，得到投影后的样本，包括：

最大化任一个隐状态和其从抽象视角对应的多个观测值的概率之和，最小化该隐状态和其他观测值的概率之和，增加一个辅助任务作为对模型的约束，得到辅助任务如下式所示：

其中，∈≥0表示状态抽象对于DSCL模型学习的约束大小，∈越小表示约束程度越强，∈最小为0表示完全区分正负样本，代表双线性模型的非负函数；e_t是观测值o_t的嵌入向量，W_θ是要学习的参数矩阵；为常量。