[发明专利]一种无人机避障与路径规划方法

权利要求书

1.一种无人机避障与路径规划方法，其特征在于：结合蒙特卡洛树搜索与对比强化学习算法，实现无人机避障与路径选择的功能，包括以下几个步骤：

(1)搭建无人机飞行环境的模拟器；

(2)利用深度神经网络对从模拟器中获取的高维观测信息进行特征提取；并使用深度神经网络指导蒙特卡洛树搜索以及作为强化学习算法的决策网络和价值评估网络；

(3)模拟器的无人机与模拟环境交互，通过蒙特卡洛树搜索进行粗粒度的路径搜索，规划出无人机航线上的阶段性中间目标点，用于强化学习算法训练无人机进行精细的避障与路径规划；

(4)利用强化学习算法，结合蒙特卡洛树搜索得到的粗粒度路径中的阶段性中间目标点信息和无人机与模拟环境交互所得奖励，通过无人机执行动作与模拟环境进行交互生成训练数据，学习无人机精细的控制策略和细粒度的路径规划，获得复杂环境中无人机避障策略以及到达目标点的最优路径；所述强化学习算法为近端策略优化算法；

(5)实施对比学习，训练一个特征编码器，对无人机观测信息进行编码，提取输入观测的特征表征，并使得相似或相同的观测经过编码后所得的特征表征在特征隐空间中不易被区分，不同观测经过编码后所得的特征表征在特征隐空间相互区别；策略网络与价值网络通过处理特征表征提高强化学习的策略收敛速度；

对无人机获得的高维观测信息进行数据增强；具体做法是，从输入的原始高维观测矩阵中心以一定比例截取子矩阵作为锚点，在原始高维观测矩阵中以相同比例任意截取子矩阵作为正样本，在其他观测矩阵中以相同大小任意截取子矩阵作为负样本；训练两个神经网络Encoder_q和Encoder_k作为编码器，其中Encoder_q输出对锚点提取的特征，Encoder_k输出对正负样本提取的特征；使用相似度评价损失：

其中，q表示锚点特征，k₊表示正样本特征，k_i表示负样本特征，CosSim是余弦相似度，用于衡量特征之间的相似程度，τ是一个超参称为温度系数；通过最小化相似度评价损失，使得Encoder_k提取的正样本特征和Encoder_q提取的锚点样本特征更接近，Encoder_k提取负样本特征和Encoder_q提取的锚点样本特征更不同；训练结束后，将只保留Encoder_q；通过上述过程，训练得到的Encoder_q可以保证对观测信息提取的特征表征是有效的特征，Encoder_q作为策略网络和价值网络的一部分，可以极大地增加强化学习的样本利用率，加速强化学习训练速度。

2.根据权利要求1所述的无人机避障与路径规划方法，其特征在于：所述的模拟器是基于Unity3D构建的一个包括空气动力学、无人机控制系统以及无人机飞行环境的真实仿真模拟系统；在模拟器中无人机的初始状态，包括起点与终点的任务信息，无人机在模拟器中感知到的高维环境信息，以及无人机自身飞行速度、旋角、位置、高度，一起作为无人机从仿真模拟器中获得的观测信息；所述环境信息包括障碍物信息、无人机距离障碍物的距离、距离目标点的距离。

3.根据权利要求1所述的无人机避障与路径规划方法，其特征在于：无人机在环境中能获得观测信息，无人机根据这些信息作出相应动作获得奖励，其过程定义为马尔科夫决策过程，用元组(O，A，P，R，γ)表示，其中O表示观测状态信息，A表示无人机动作空间，P是状态转移概率矩阵，R是奖励函数，γ是折扣率。

4.根据权利要求1所述的无人机避障与路径规划方法，其特征在，利用蒙特卡洛树搜索进行粗粒度的路径搜索时，将整个无人机飞行避障区域栅格化，将连续的飞行空间离散化，即将无人机飞行任务空间等距划分为不同的离散的网格子空间，在不考虑无人机精细控制，只考虑无人机在栅格化区域中的避障飞行路径的前提下，利用蒙特卡洛树搜索先在整个搜索空间中找到在栅格中避障移动的最优路径，得到中间目标点；再利用强化学习算法训练无人机精细的控制策略和细粒度的路径规划。