[发明专利]一种迭代步长可变的多步Q学习自适应方法

说明书

技术领域

本发明属于雷达信号处理领域，提出了一种迭代步长可变的多步Q学习自适应方法。

背景技术

认知雷达是一种能够根据回波信号认识环境状态的雷达。它通过对回波信号的分析，提取出环境信息并动态地改变发射波形，以达到更高的目标分辨力(包括距离、速度等)。而宽带认知雷达则是在认知雷达的基础上采用了更高的带宽发射波形，这样，可以使雷达具有更高的距离分辨力和超近程的探测能力。由于宽带认知雷达的带宽大，数据更新快，这对波形动态变化的速度也有了更高的要求。而提高自适应算法的计算速度则是在提高宽带认知雷达的认知能力，所以研究宽带认知雷达的自适应波形选择算法有着重要的意义。

在众多的自适应算法中有一部分已经成熟的，并被广泛应用的例子，如价值迭代算法、策略迭代算法，Q-Learning算法以及多步Q-Learning算法。传统的Q学习算法采用一步算法，预见能力不强，对环境适应能力不强。针对这种问题，相关研究提出了增量式步长Q学习算法，但这种算法再后来的实际应用中出现了运算复杂度高，更新速度慢的情况。于是，为了平衡预见能力和预算复杂度的问题，有人提出采用有限多步信息进行更新的思想，即多步Q学习算法，它利用K步信息更新当前的Q值，具有多步预见能力，同时能降低算法复杂度。但是，这种算法步长恒定，无法根据环境变化调整步长，如果遇到环境急剧的变化，那么该算法的适应性将变弱。

发明内容

本发明针对背景技术存在的运算量大和预见能力不强的缺点，提出了一种改进的Q学习算法。本发明提出将步长的大小设置为环境的函数，根据环境的变化程度来决定步长的大小，当环境急剧变化的时候，采用更多步的信息来更新当前Q值，提高预见能力；同时，当环境变化很细微时，采用较少步的信息来更新Q值，减少算法复杂度。

本发明所采用技术方案为：一种迭代步长可变的多步Q学习自适应方法，包括以下步骤：

步骤1：初始化所有的(s,u)，其中s∈S,u∈A(u)，S表示状态集合，s表示集合中一个状态；u为系统选择波形，A(u)为波形集合；令Q(s,u)＝0,k＝0，k表示迭代次数，设定最大迭代次数K_max(t)，以及更新公式：K_max(t+1)＝μK_max(t)，0＜μ＜2，初始值为1；

步骤2：雷达环境学习，令当前状态为s_t，雷达发射波形集合中不同的波形，并记录不同波形所产生的Q值，通过比较确定Q值最大的对应波形u，即：Y(u_t)＝argmaxQ^k(s_t,u_t)；

步骤3：利用更新公式更新Q值：

Q^k+1(s_t,u_t)＝(1-α^k+1)Q^k(s_t,u_t)+α^k+1[R_t(s_t+1|s_t,u_t)+λmaxQ^k(s_t+1,u_t+1)]

其中，s_t代表t时刻状态，u_t代表t时刻发射波形，R_t(s_t+1|s_t,u_t)为t时刻、环境状态为s_t、发射波形为u_t的情况下状态变换到s_t+1产生的报酬函数，λ为设定折扣因子；

步骤4：确定下一状态，根据状态转移矩阵A，测量概率矩阵B，确定下一状态s_t+1：

I为对角矩阵；

步骤5：计算状态变化范数σ＝||s_t+1-s_t||，设定μ值变动的最低门限值l和μ值变动的最高门限值h；当σ＜l时，μ值减0.1，并降低l、使l＝0.6l；当σ＞h时，μ值加0.1，并提高h、使h＝1.2h；否则，μ值不变；

步骤6：k值加1，当k＜K_max(t)，根据公式K_max(t+1)＝μK_max(t)，更新最大迭代次数；令s_t＝s_t+1，跳至步骤2；否则，停止迭代，跳至步骤7；