[发明专利]基于双神经网络强化学习的自主水下航行器路径规划方法

说明书

本发明公开了一种基于双神经网络强化学习的自主水下航行器路径规划方法，基于双神经网络强化学习算法解决自主水下航行器的路径规划问题。针对Q‑learning学习算法存在需要存储空间大和查找时间长的问题,进行优化处理；在Q‑learning学习算法的基础上融入目标网络和记忆池经验回放技术得到双神经网络强化学习算法，并构建基于双神经网络强化学习算法的AUV智能路径规划框架；量化处理自主水下航行器的环境状态信息，将其与双神经网络强化学习算法相结合，并判断AUV运动方向与目标点位置关系，得到AUV智能规划路径的决策。本发明显著地降低了运算的复杂性，满足实时决策要求，具有突出的迁移能力和环境适应性，为AUV提供安全快捷可靠的路径规划方案。

技术领域

本发明属于人工智能及路径规划领域，具体涉及一种基于双神经网络强化学习的自主水下航行器路径规划方法。

背景技术

随着人工智能领域的逐渐发展，越来越多专家的关注和研究如何利用人工智能技术解决自主水下航行器的路径规划问题，科学界也涌现出了大量智能算法，其中包含深度学习、强化学习等，使自主水下航行器(Autonomous Underwater Vehicle，AUV)的路径规划越来越精确。但是，AUV最终要面临的是如何在未知的环境中的做到准确航行，所以在研究AUV如何提高自身性能的同时也要充分考虑到在未知环境中准确航行的问题。与在已知环境信息下AUV的路径规划问题相比，在未知环境信息下AUV的路径规划问题更加具有挑战性。在现代科学追求高安全性，高精确性和高效率性的时代背景下，在AUV的路径规划问题上，如何提高AUV在未知环境中的学习能力和AUV的环境自适应性也成为目前研究的关键技术性问题。而且，在路径规划算法问题上，传统的单一算法存在较大的弊端，例如被广泛应用的神经网络算法容易陷入局部最优解的问题，而强化学习是一种可以与环境进行交互式学习的重要人工智能方法，该算法通过不断地试错与探索，逐渐学习到相关的决策模型，具有灵活的路径规划能力，可用于解决在未知环境中自主水下航行器的路径规划问题。如何改进路径规划算法，又如何提高AUV在未知环境中的学习能力和环境自适应性，是AUV路径规划方法研究的热点，也是本发明研究的重点。

发明内容

发明目的：为了解决现有技术中AUV路径规划存在的面对未知环境的自我学习能力和环境自适应问题，本发明提供一种基于双神经网络强化学习的自主水下航行器路径规划方法。

技术方案：本发明提供一种基于双神经网络强化学习的自主水下航行器路径规划方法，具体包括以下步骤：

(1)对Q-learning学习算法中存在的需要存储空间大和查找时间长的问题进行优化处理；

(2)在Q-learning学习算法的基础上融入目标网络和基于“优先级”的记忆池经验回放技术得到双神经网络强化学习算法，并构建基于双神经网络强化学习算法的AUV智能路径规划框架；

(3)量化处理AUV的环境状态信息，将其与DQN算法相结合得到神经网络结构，并判断AUV运动方向与目标点位置关系，得到AUV智能规划路径的决策模型。

进一步地，所述步骤(1)实现过程如下：

Q-learning学习算将AUV当前状态s_t和执行动作a_t构成一张Q值表，命名为Q Net，用于存放AUV每一时刻的状态和执行动作；然后根据Q值表来选取能够获得最大收益的下一步动作a_t+1，在此基础上优化Q-learning学习算法就是根据AUV当前所处的环境信息去除Q值表中的无效动作，来减少Q值表所需的存储空间和查找Q值表所需要的时间。

进一步地，所述步骤(2)包括以下步骤：

(21)在优化后的Q-learning学习算法的基础上融入目标网络构成两个浅层神经网络：