[发明专利]一种迭代步长可变的多步Q学习自适应方法

摘要

本发明属于雷达信号处理领域，提出一种迭代步长可变的多步Q学习自适应方法，用以解决现有Q学习算法环境适应性差，与急剧变化环境无法工作的问题。本发明提出将步长(最大迭代次数)的大小设置为环境的函数，根据环境的变化程度来决定步长的大小；因此，本发明能够迅速地适应环境，当环境急剧变化的时候，采用更多步的信息来更新当前Q值，有效提高算法预见能力；同时，当环境变化很细微时，采用较少步的信息来更新Q值，有效减少算法复杂度；有效提高算法环境适应能力。

主权项

一种迭代步长可变的多步Q学习自适应方法，包括以下步骤：步骤1：初始化所有的(s,u)，其中s∈S,u∈A(u)，S表示状态集合，s表示集合中一个状态；u为系统选择波形，A(u)为波形集合；令Q(s,u)＝0,k＝0，k表示迭代次数，设定最大迭代次数Kmax(t)，以及更新公式：Kmax(t+1)＝μKmax(t)，0＜μ＜2，初始值为1；步骤2：雷达环境学习，令当前状态为st，雷达发射波形集合中不同的波形，并记录不同波形所产生的Q值，通过比较确定Q值最大的对应波形u，即：Y(ut)＝argmaxQk(st,ut)；步骤3：利用更新公式更新Q值：Qk+1(st,ut)＝(1‑αk+1)Qk(st,ut)+αk+1[Rt(st+1|st,ut)+λmaxQk(st+1,ut+1)]其中，st代表t时刻状态，ut代表t时刻发射波形，Rt(st+1|st,ut)为t时刻、环境状态为st、发射波形为ut的情况下状态变换到st+1产生的报酬函数，λ为设定折扣因子；步骤4：确定下一状态，根据状态转移矩阵A，测量概率矩阵B，确定下一状态st+1：I为对角矩阵；步骤5：计算状态变化范数σ＝||st+1‑st||，设定μ值变动的最低门限值l和μ值变动的最高门限值h；当σ＜l时，μ值减0.1，并降低l、使l＝0.6l；当σ＞h时，μ值加0.1，并提高h、使h＝1.2h；否则，μ值不变；步骤6：k值加1，当k＜Kmax(t)，根据公式Kmax(t+1)＝μKmax(t)，更新最大迭代次数；令st＝st+1，跳至步骤2；否则，停止迭代，跳至步骤7；步骤7：对于每一个状态s∈S，选择d(st)∈argmaxQ(st,ut)得到最优策略。