[发明专利]基于强化学习的超快脉冲激光器反向实现方法和系统

权利要求书

1.一种基于强化学习的超快脉冲激光器反向实现方法，其特征在于，包括：

步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；

步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；

步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；

步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；

步骤5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。

2.根据权利要求1所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。

3.根据权利要求1所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，将模型LSTM预测的脉冲输出作为强化学习DDPG的输入，选取不同的激光器参数作为动作，通过强化学习来估计Q值，Q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的Q值与当前状态和动作下的Q值的均方误差，搜索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。

4.根据权利要求1所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。

5.根据权利要求4所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，经过传输的脉冲振幅表达式为：

其中，A(z，T)代表z方向上在周期T内的脉冲振幅；D代表色散；N代表非线性；线性算符在频域当中的计算式为：

其中，F^-1表示傅里叶逆变换，ω为角频率，为复振幅。

6.一种基于强化学习的超快脉冲激光器反向实现系统，其特征在于，包括：

模块M1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；

模块M2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；

模块M3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；

模块M4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；

模块M5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。

7.根据权利要求6所述的基于强化学习的超快脉冲激光器反向实现系统，其特征在于，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。

8.根据权利要求6所述的基于强化学习的超快脉冲激光器反向实现系统，其特征在于，将模型LSTM预测的脉冲输出作为强化学习DDPG的输入，选取不同的激光器参数作为动作，通过强化学习来估计Q值，Q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的Q值与当前状态和动作下的Q值的均方误差，搜索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。

9.根据权利要求6所述的基于强化学习的超快脉冲激光器反向实现系统，其特征在于，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。

10.根据权利要求9所述的基于强化学习的超快脉冲激光器反向实现系统，其特征在于，经过传输的脉冲振幅表达式为：

其中，A(z，T)代表z方向上在周期T内的脉冲振幅；D代表色散；N代表非线性；线性算符在频域当中的计算式为：

其中，F^-1表示傅里叶逆变换，ω为角频率，为复振幅。