[发明专利]一种校准加速器束流偏移的强化学习方法

摘要

本发明公开一种校准加速器束流偏移的强化学习方法。在加速器的中能束流传输段中，束流受设备安装精度和周围复杂环境的影响而发生位置偏移，其严重影响了束流所能够达到的能量级别。传统方法是通过复杂的物理计算得到校准电压值，并使用脚本程序自动输入进行不断尝试，其过程复杂繁琐。本文通过对中能束流传输段中的三组水平和竖直方向的四极磁铁内部集成的校准线圈分析，依靠强化学习利用环境和智能体之间交互学习的特性对加速器环境进行建模，是一种使用确定性策略探索连续的大状态空间和动作空间，并利用神经网络逼近最优校准电压值的束流偏移校准方法。

主权项

1.一种校准加速器束流偏移的强化学习方法，其特征在于：包括以下步骤：步骤1：在加速器中使用强化学习主要包括环境、智能体、校准束流奖励机制、确定性策略等。所述的环境即加速器系统，主要包括校准线圈、位置检测器两个核心部件；所述的智能体是强化学习的核心元素，其根据位置检测器的位置检测，对校准线圈施加电压的过程做出一套最优策略；所述的校准束流奖励机制是根据智能体动态决策后，根据施加电压值情况判断束流在校准之后的位置距离轴线中心的距离而设置的一种奖惩规则；所述的确定性策略是指大状态空间和动作空间下，智能体能够自身的在一个确定策略下搜索状态和动作空间的方法。步骤2：根据强化学习过程所需元素信息，构建四元组马尔科夫过程，将加速器系统中位置检测信息、加速器系统中校准线圈施加电压值进行抽象化，定义状态空间S为位置检测器测量值BPM，动作空间A为所施加的校准电压值C(c1,c2,c3)，智能体输出动作后获得的奖励R:S×A×S’→R，共同组成马尔科夫决策过程四元组<BPM1,C,R,BPM2>。步骤3：根据动态的束流位置和校准线圈电压值，对加速器系统环境进行建模，并在设置长期累积期望γ折扣奖励的基础上，定义策略π，状态‑动作值函数Q(s,c)。建立Q(s,a)的Bellman方程关系，得出下一个状态与当前状态之间的关系，并得到最优状态‑动作值函数Q^*(s,c)。步骤4：根据状态‑动作值函数的Bellman方程，使用确定性策略对大状态空间和动作空间进行探索学习。步骤5：使用Actor‑Critic框架和深度神经网络逼近最优值求解。