[发明专利]基于强化学习的未知环境自主导航系统及方法

说明书

本发明公开了一种基于强化学习的未知环境自主导航系统及方法，系统包括：训练模块，用于构建飞行决策模型，并基于深度强化学习在模拟环境中对该模型进行训练；交互模块，用于实现无人机机载传感器与环境的交互；规划模块，用于进行路径规划；应用模块，用于与规划模块进行交互，实现无人机在实际未知环境中的导航。方法包括：建立并训练飞行决策模型；获取真实环境信息数据；获取无人机状态图；将无人机状态图作为模型的输入，输出无人机对应采取的动作，之后转第二步，并将该动作作用于真实环境中，改变无人机的状态，直至无人机到达终点。本发明能实现无人机在无先验知识的前提下，进行未知环境的自主导航，具有结构简单、泛化能力强等特点。

技术领域

本发明属于导航领域，具体涉及无人机导航领域，特别涉及一种基于强化学习的未知环境自主导航系统及方法。

背景技术

无人机作为物联网的一个新兴组成部分，在航运领域、地理测绘、环境监测、灾害管理、精准农业等领域引起了越来越多的关注。在这些应用环境中，尤其是人工无法控制的应用环境中，基于无人机的自主导航系统路径规划发挥着更为重要的作用。

传统的路径规划方法，例如A*算法、动态规划和人工势场法都具有在多个约束条件下(如时间、距离和能量)的一些优化问题的特征，这些方法严重依赖于已知的环境的先验知识，包括成损耗图和势场图。然而，即使有先验知识，对于具有强噪声的不完全数据，一些生成模型仍然具有较低的精度。此外，在路径规划中，起点和终点的变化会导致模型的修改和再训练，这会产生巨大的开销。虽然基于计算智能(Computational Intelligence，CI)的方法可以部分提高系统的鲁棒性，但它们仅限于将原有模型泛化到那些变化不大的环境中。更重要的是，由于训练环境和应用环境的巨大差异，在一个完全未知的环境中，如何利用现有信息建立飞行决策模型，并且将其推广到新的场景中是一个需要研究的重要问题。即时定位与地图构(Simultaneous Localization and Mapping，SLAM)是一种替代方法，但它耗时且效率较低。

总之，无人机的自动导航系统仍面临以下问题。首先，在建模过程中，模型过度依赖于特定的环境，这使得无人机不能自主适应不同的飞行环境。其次，无人机可能被派遣到一个未知的环境中，这对处理未知情况的能力提出了很高要求。

发明内容

本发明的目的在于提供一种能高效且准确地引导无人机到达目的地，为未知环境中飞行的无人机提供路径规划的支持，从而提高无人机对不同飞行环境的适应能力的自主导航方法。

实现本发明目的的技术解决方案为：一种基于强化学习的未知环境自主导航系统，包括交互模块、训练模块、规划模块和应用模块；所述交互模块、规划模块和应用模块三者相连，进行连续的路径规划操作；

所述训练模块，用于将路径规划模型转化为飞行决策模型，并基于深度强化学习在模拟环境中对该模型进行训练；

所述交互模块，用于实现无人机机载的多种传感器与实际环境进行交互，并将交互信息数据传输至规划模块；

所述规划模块，和训练模块共享飞行决策模型，用于根据所述飞行决策模型和交互信息数据，进行无人机路径规划；

所述应用模块，用于与规划模块进行交互，实现无人机在实际未知环境中的导航。

进一步地，所述规划模块包括：

无人机状态获取单元，用于利用定位算法以及视觉感知算法分析交互模块获得的交互信息数据，获得无人机状态图；

无人机动作获取单元，用于将所述无人机状态图输入至训练后的飞行决策模型，输出无人机应采取的动作。

一种基于强化学习的未知环境自主导航方法，包括以下步骤：

步骤1，建立飞行决策模型，并在虚拟环境中基于深度强化学习对飞行决策模型进行训练，获得模型