[发明专利]基于DQN的多月球车采样固定目标自适应规划方法

说明书

本发明公开的基于DQN的多月球车采样固定目标自适应规划方法，属于航空航天技术领域。本发明通过使用矩阵和向量形式表达多月球车状态空间，通过状态组中每个状态随机赋值，生成随机的每个多月球车系统的状态组，获得更多的多月球车状态矩阵，提升对于多月球车的任务规划的初始状态适应能力，提高规划器的自适应能力。本发明通过状态空间状态随机生成方法，生成大量训练用初始状态样本数据，利用基于DQN的多月球车采样任务训练体系对规划的状态空间预训练，能够在保持目标状态不变的情况下，适应多种不同的当前或初始状态，规划得出到达目标状态的动作序列，无需多次全序列重新规划，以快速处理多月球车在月表采样的任务规划问题。

技术领域

本发明涉及一种基于DQN(深度Q网络，Deep Q Network)的多月球车采 样固定目标自适应规划方法，属于航空航天技术领域。

背景技术

月球车任务规划是月球车的重要组成部分，对月球车能否安全运行以及顺利 完成建设任务至关重要。然而，月球表面环境不确定，环境感知难度大，对月球 车来说需要频繁调整排布的任务计划；此外，月球车携带的处理器性能低，运行 速度较慢，难以满足实时规划过程运算能力的需求。

现有的月球车的完成和排布科学任务的方法主要有遥操作和预先任务规划 技术。前者虽然控制效果较好，但效率很低，而且大量依赖地面的人力和通信能 力；后者以美国MAPGEN(Mixed initiative Activity Plan GENerator)为代表，用于提前完成任务规划表示和推理，但存在预先认知与执行时状态差别，在执行时 需要频繁调整现有规划方案。此外，大部分技术着眼于月球车的路径规划，对于 在状态空间中的任务规划研究较少。

在由不同的起始状态，向一个固定任务目标进行任务规划方面，业界学者从 不同的领域提出了不同的方法，比如传统任务规划方面，使用普通的状态空间规 划器，在可达的任意两状态间得出规划的序列解，但是完全推理和规划的速度较 慢；对于使用深度强化学习等方法规划方面，现有的增强自适应能力方法均基于 位置、速度等表示方法，无法直接应用于状态空间规划的自适应能力提升。

发明内容

为了解决现有方法规划时间长，以及现有深度强化学习规划方法的提升自适 应能力和样本数量方法无法适应于状态空间规划的问题，本发明在基于矩阵和向 量的状态空间表达方法基础上，提供基于DQN的多月球车采样固定目标自适应 规划方法，能够根据状态空间系统特点，生成适用于每个系统的随机状态，进而组合为初始状态矩阵，传入DQN算法适配的环境，通过多次训练，产生对不同 初始状态的适应性，达到固定任务目标自适应规划的目的，实现在月表环境下对 于既定任务目标，在多种不同状态或初始状态下完成指定采样任务。

本发明的目的是通过下述技术方案实现的。

本发明公开的基于DQN的多月球车采样固定目标自适应规划方法，包括如 下步骤：

步骤一、根据多月球车采样任务规划中多月球车系统状态与动作间的约束和 转移关系，确定待规划和训练的任务模型。

定义多月球车任务模型为一个五元组：O，S，A，P，E，其中O是系统的集 合，即多月球车任务模型中的所有系统；S是状态的集合，表示多月球车任务模 型中各系统的所有状态；A是动作的集合，表示多月球车任务模型中各系统的所 有动作；P是动作前提条件的集合，表示多月球车任务模型中各系统的各动作的 所有前提条件；E是动作的影响或效果的集合，表示多月球车任务模型中各系统 的所有动作的影响。

步骤二、使用矩阵和向量形式表达多月球车采样任务规划使用的状态空间中 不同系统的当前状态，进而表达多月球车状态K，并形成多月球车状态空间。