[发明专利]基于强化学习的未知环境自主导航系统及方法

权利要求书

1.一种基于强化学习的未知环境自主导航方法，其特征在于，该方法针对基于强化学习的未知环境自主导航系统，该系统包括交互模块、训练模块、规划模块和应用模块；所述交互模块、规划模块和应用模块三者相连，进行连续的路径规划操作；

所述训练模块，用于将路径规划模型转化为飞行决策模型，并基于深度强化学习在模拟环境中对飞行决策模型进行训练；

所述交互模块，用于实现无人机机载的多种传感器与实际环境进行交互，并将交互信息数据传输至规划模块；

所述规划模块，和训练模块共享飞行决策模型，用于根据所述飞行决策模型和交互信息数据，进行无人机路径规划；

所述应用模块，用于与规划模块进行交互，实现无人机在实际未知环境中的导航；

包括以下步骤：

步骤1，建立飞行决策模型，并在虚拟环境中基于深度强化学习对飞行决策模型进行训练，获得模型具体包括：

将路径规划模型构建于马尔科夫决策模型框架中，获得马尔科夫决策过程的五元组：

＜S,A,P,R,γ＞

其中，S为一个有限的状态集合，s_t∈S代表无人机在每一个时间t的状态；A为一个有限的动作集合，a_t∈A代表无人机在每一个时间t所做的动作；P为一个状态转换概率：

P[s,a,s′]＝P[S_t+1＝s′|S_t＝s,A_t＝a]；

R表示奖赏，包括即时奖赏和累积奖赏；其中，即时奖赏应用于无人机的飞行过程中，表示无人机在状态s_t时刻执行飞行动作a_t后转移到状态s_t+1，获得即时奖赏值r_t＝R(s_t,a_t,s_t+1)，该即时奖赏值与以下几个因素有关：

(1)移动方向：以无人机的第一视角作为X轴正方向建立一个二维坐标系，计算目标相对于无人机的方向角θ：

式中，P^T＝(t_x,t_y,t_z)为无人机要到达的目标位置，P^UAV＝(p_x,p_y,p_z)为无人机当前的位置；在每一个时间节点后，若无人机前进方向与目标相对于无人机的方向一致时，无人机将会得到一个激励值λ∈(0,1)；

(2)目标距离：在每一个时间节点后，随着无人机靠近目标，无人机将根据两者之间减少的距离D_r获得一个指数级别的激励值，其中D_r为：

式中，P_t^UAV表示无人机在t时刻所处位置，表示无人机在t-1时刻所处位置；

(3)障碍感知：无人机在靠近障碍物目标P^obs时，会获得与无人机和障碍物之间距离相关的惩罚值；

(4)时间：随着时间的推移，给无人机一个固定的惩罚值μ，以使无人机能尽快到达目标终点；

则即时奖赏可表示为：

式中，T代表飞行时间；

其中，累积奖赏定义为无人机在飞行路径中执行一系列动作之后的即时奖赏的累计值：

式中，无人机的飞行路径为τ，τ＝(s₀,a₀,s₁,a₁,...)，r_k代表在飞行状态s_k采取动作a_k转变到飞行状态s_k+1得到的即时奖励值；γ∈(0,1)表示折扣因子；

步骤2，将无人机置于真实飞行环境中，无人机通过自身携载的多种传感器获取环境信息数据；

步骤3，对所述环境信息数据进行分析获得无人机状态图；

步骤4，将所述无人机状态图作为模型的输入，输出无人机对应采取的动作，之后转到步骤2，并将该动作作用于真实飞行环境中，改变无人机的状态，直至无人机到达终点，由此完成无人机在未知环境中的路径规划任务。

2.根据权利要求1所述的基于强化学习的未知环境自主导航方法，其特征在于，所述多种传感器包括定位传感器、超声波传感器、图像传感器以及姿态传感器。