[发明专利]一种用于相干合成的强化学习方法

权利要求书

1.一种用于相干合成的强化学习方法，其特征在于，包括以下步骤：根据相干合成光束路数建立动作空间和设置相干合成Q-learning学习参数；根据动作空间建立Q值表；选择一个动作，智能体的输出值为输出值加减微小动作电压或相位；根据光电探测器返回给智能体的环境状态确定奖励函数；更新Q值表。

2.根据权利要求1所述的一种用于相干合成的强化学习方法，其特征在于，所述根据相干合成光束路数N建立动作空间包括：

智能体在第i路光的动作表示如下：

式中是微小动作电压或者是微小相位，设置为0.03；其中a_i^j表示智能体在第i路光处的动作为j表示动作a定义时的正负，动作空间A定义包含智能体动作的所有情况，在时刻t中智能体输出动作a_t表示为：

所以N个j的取值的所有排列组合构成动作空间A；

当相干合成光束路数N5,则Q-learning的动作空间A被表示为：

而N≥5的时候要使用分治的方法，将光束路数N分为n份，看做n个k＝N/n路光进行相干合成，Q-learning的动作空间A由下式表示：

首先k个j的取值的所有排列组合构成动作空间a'；

其中n为将光束路数被分成的份数，其中a_i^j表示智能体在第i路光处的动作为j表示动作a定义时的正负，动作空间A定义包含智能体动作的所有情况，在时刻t中智能体输出动作a_t表示为：

由此可以定义智能体的动作空间A为：

3.根据权利要求1所述的一种用于相干合成的强化学习方法，其特征在于，所述设置Q-learning学习参数如下：

Q-learning算法使用ε-greedy策略，更新Q值表由下式进行：

Q(s_t,a_t)←Q(s_t,a_t)+α(r_t+γmaxQ(s_t+1,a)-Q(s_t,a_t))

其中s_t是t时刻下智能体观察到的环境状态，a_t是t时刻下的智能体执行动作，Q(s_t,a_t)是在t时刻下状态s_t和动作a_t下的Q值,Q(s_t+1,a_t)是在t+1时刻下状态s_t+1和在t时刻动作a_t下的Q值，maxQ(s_t+1,a)是Q值表在t+1时刻下状态s_t+1取得的最大值，r_t是t时刻下的奖励函数，α是学习率，γ是折扣率；根据实验，设置α为1，设置γ为0.1，Q-learning的ε-greedy策略里的概率ε被设置为0.3，其表示有0.3的概率随机在动作空间A中选择动作。

4.根据权利要求1所述的一种用于相干合成的强化学习方法，其特征在于，所述根据动作空间建立Q值表的方法如下：

根据动作空间建立一维的Q-table，该Q-table的大小为1×动作空间A的列向量长度的矩阵。

5.根据权利要求1所述的一种用于相干合成的强化学习方法，其特征在于，所述选择一个动作，智能体的输出值为输出值加减微小动作电压或相位：

智能体在时刻t下，输出相位或者输出电压为在时刻t+1下，输出相位或者输出电压为他们之间由下式表示：

其中a_t为智能体在t时刻的输出动作。