[发明专利]一种用于相干合成的强化学习方法

说明书

本发明公开了一种用于相干合成的强化学习方法，包括以下步骤：根据相干合成光束路数建立动作空间和设置相干合成Q‑learning学习参数；根据动作空间建立Q值表；选择一个动作，智能体的输出值为输出值加减微小动作电压或相位；根据光电探测器返回给智能体的环境状态确定奖励函数；更新Q值表；由于相干合成时域无限，所以智能体的学习训练不会停止。该算法不需要大量时间进行训练，而且因为其学习性，所以在相干合成中比传统的算法更稳定，同时调整参数更加容易。

技术领域

本发明涉及光束相干合成技术领域，具体地说，本发明涉一种用于相干合成的强化学习方法。

背景技术

高功率超短脉冲激光器为一些重大科研前沿问题提供了前所未有的极端条件。近年来随着光纤激光器的发展，单根光纤飞秒激光的平均功率已经可以达到kW级，峰值功率更是达到十GW级。但是受到非线性效应、模式不稳定效应和材料损伤特性的限制，单纤激光器的输出功率已经越来越接近它的极限值。光束的相干合成需要各路光束频率、偏振态和相位差恒定，使得光束在目标处实现相干干涉，从而得到光束质量较好的高峰值功率的激光束。其中的相位控制是相干合成的核心技术，是实现光束干涉、提高合成效率和峰值功率的关键技术。

相干合成可以解决单路脉冲激光的功率上限问题，使用多路小功率放大，来代替单路大功率放大，将多路放大后的光束相干合成即可以得到大功率输出。相位控制是相干合成的关键和难点，如今相干合成算法繁多，主要有外差法、多抖动法、随机并行梯度算法(Stochastic Parallel Gradient Descent,SPGD)等。其中SPGD算法因为其结构简单，收敛速度快而得到广泛应用，是现在的主流算法。

随着深度强化学习的广泛使用，研究人员也将强化学习应用于相干合成中，2019年日本电子通信大学激光科学研究所首次将强化学习和深度神经网络应用在相干合成领域，证明了该方法的性能与SPGD算法相当，并且具有预测相位的能力。但是因为其需要大量时间对神经网络进行训练，导致其应用性有限。

发明内容

本发明的目的是为了克服已有技术的缺陷，解决深度强化学习需要长时间训练，本发明提供一种用于相干合成的强化学习方法。该算法不需要大量时间进行训练，而且因为其学习性，所以在相干合成中比传统的算法更稳定，同时调整参数更加容易。

本发明方法是通过下述技术方案实现的：

一种用于相干合成的强化学习方法，其基本实施过程如下：根据相干合成光束路数建立动作空间和设置相干合成Q-learning学习参数；根据动作空间建立Q值表；选择一个动作，智能体的输出值为输出值加减微小动作电压或相位；根据光电探测器返回给智能体的环境状态确定奖励函数；更新Q值表。

本发明方法，对比已有技术，不需要大量时间训练神经网络，同时具有更好的稳定性，具有调节参数简单的优势。、

附图说明

图1为本发明所述的一种用于相干合成的强化学习方法的程序框图。

图2为本发明所述的一种用于相干合成的强化学习方法用于4路相干合成仿真模拟对比图。

图3为本发明所述的实施例的示意图。

图4为本发明所述的实施例运行一种用于相干合成的强化学习方法的结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他

实施例，都属于本发明保护的范围。

下面结合附图对本发明方法的实施方式做详细说明。

一种用于相干合成的强化学习方法，其具体步骤包括：