[发明专利]一种基于深度强化学习的无人艇实时避障算法

说明书

本发明公开了一种基于深度强化学习的无人艇实时避障算法，涉及无人艇技术领域；本发明采用深度学习方法获取图像信息，在A3C算法的基础上，优化网络结构，丰富避障信息，根据规划路径、躲避障碍、探索适应环境的三项需求，重新规范智能体的动作空间，选择三类环境进行训练；与GPU平台相结合，将预训练数据整合到深度神经网络上，提高训练效率，保证算法的实时性。结果表明，本方法在满足单次处理速度要求的同时，训练时间缩短59.3％，效率提高71.7％以上，算法模型在未知环境中的表现得到有效提升，优于现有方案。

技术领域

本发明涉及无人艇技术领域，具体是一种基于深度强化学习的无人艇实时避障算法。

背景技术

水面无人艇作为一种自主的水面无人航行器，凭借着小体积、高智能化、能够自主完成任务的特性，在军事与民用领域有着广泛的应用前景。无人艇的局部避障技术作为衡量其智能化程度的重要标准之一，要求无人艇在一定的范围内，对周围未知与已知的环境进行感知判断，并能够迅速避开障碍物，最终安全到达指定位置。无人艇通常采用红外、摄像头、超声以及激光传感器作为信息获取源，随着硬件技术以及制造能力的进步，各类传感器的精度都在不断提升，能够较好地满足无人艇避障对于数据精确性的要求。即便如此，在面对潜在的未知危险时，无人艇做出合理准确的局部路径规划，除了依赖高精度传感器的数据，更多的依赖于算法的运算能力，因为传感器仅仅提供了用于辅助判断的检测信息，真正做出决策的是算法本身，如航行的角度、方位、速度等，都取决于算法。局部避障算法的效率高低与反应快慢，都会影响到无人艇避障效果。因此，在已知或未知的复杂水域中有效运行的避障算法对于无人艇是十分有必要的。近几年，对无人艇局部避障的研究越来越看重算法的自主能力，即如何通过不断与环境互动实现自我学习，达到适应不同环境的效果。强化学习是一种在主动交互试错中自主学习策略的一种人工智能方法，在路径规划中，能够帮助智能体(Agent)寻找到一条合理的无碰路径。而与深度学习的结合，使深度强化学习方法在应对大规模数据时的处理能力得到提升。如Markus Wulfmeier等提出了MEDIRL算法，采用大型代价函数以应对大规模复杂环境，并成功应用到高尔夫球车自动驾驶平台上；夏伟利用经验池回放技术与聚类状态空间再采样，在TORCS自动驾驶仿真平台上进行测试，将训练时间缩短了90％以上，稳定性提高超过30％。

不同于陆地环境的行驶过程，无人艇航行的水面环境具有一定的特殊性，在水面进行局部路径规划任务时，通常面临以下两种挑战：

(1)环境信息复杂且动态性强，无人艇在水面航行时，会受到风、浪、流等自然环境的干扰，这些干扰动态性较强，难以预测；此外，复杂的环境信息还包括行进过程中可能遇到的浮标、信号灯等静态障碍物以及其他船舶等动态障碍，因此，无人艇的局部路径规划需要考虑多重环境因素，从复杂多变的环境中快速提取出有效信息，及时做出应对；

(2)水面运动特性与航行规则的约束，在实际航行过程中，受环境干扰以及惯性的影响，无人艇的运动模型以及航速控制往往表现为非线性，这一特性增加了控制与决策的不确定性；在不同的水域航行时，还需要根据当前环境的实时状态，采取不同的避障策略，而面对完全陌生的新环境时，需要局部避障系统能够利用获取的信息，根据自身的经验判断做出最优决策。因此，在无人艇局部避障系统的设计上还应当保证算法能够自我学习以适应不同的环境与规则。

发明内容

本发明的目的在于提供一种基于深度强化学习的无人艇实时避障算法，以解决上述问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度强化学习的无人艇实时避障算法，包括以下步骤：