[发明专利]基于强化学习的超快脉冲激光器反向实现方法和系统

说明书

本发明提供了一种基于强化学习的超快脉冲激光器反向实现方法和系统，包括：步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；步骤5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。本发明利用LSTM神经网络建模替代传统算法，缩短仿真耗时，提高仿真效率。

技术领域

本发明涉及超快脉冲激光器技术领域，具体地，涉及一种基于强化学习的超快脉冲激光器反向实现方法和系统。

背景技术

脉冲激光器是指单个激光脉冲宽度小于0.25秒、每间隔一定时间才工作一次的激光器，它具有较大输出功率，适合于激光打标、切割、测距等。

专利文献CN113922199A(申请号：CN202111141060.1)公开了一种抗回返的主振荡功率放大脉冲激光器，依次包括种子半导体激光器、回返光处理器、一级放大器、一级回返光处理器、二级放大器、二级回返光处理器、…、n级放大器、n级回返光处理器；设计回返光处理器保证信号光正向传输，阻止信号光反向传输，阻止非线性激光、ASE光、光路外的回返光反向传输，对回返光进行监测。

现有技术主要是通过迭代式的分布傅里叶传统算法来模拟超快激光的传输过程，算法的复杂度高，效率较低，难以满足为超快激光器进行快速反向设计提供反馈信息的要求；另一方面，目前仍未存在利用精确仿真建模结果来对超快激光器进行反向设计的技术，超快激光器的设计几乎完全依靠经验和实验尝试。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于强化学习的超快脉冲激光器反向实现方法和系统。

根据本发明提供的基于强化学习的超快脉冲激光器反向实现方法，包括：

步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；

步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；

步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；

步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；

步骤5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。

优选的，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。

优选的，将模型LSTM预测的脉冲输出作为强化学习DDPG的输入，选取不同的激光器参数作为动作，通过强化学习来估计Q值，Q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的Q值与当前状态和动作下的Q值的均方误差，搜索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。

优选的，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。

优选的，经过传输的脉冲振幅表达式为：

其中，A(z，T)代表z方向上在周期T内的脉冲振幅；D代表色散；N代表非线性；线性算符在频域当中的计算式为：