[发明专利]一种雷达自适应行为Q学习方法

说明书

技术领域

本发明属于雷达信号处理领域，尤其涉及基于贝叶斯表更新的Q学习方法对雷达自适应行为的学习、辨识问题。

背景技术

随着上个世纪60年代自适应系统和自适应信号处理的问世，诞生了自适应雷达系统，其自适应能力日益发展，并逐步由雷达接收机自适应处理发展到接收机—发射机同步处理。目前雷达自适应行为主要表现在时/频/空域工作参数、信号处理及工作模式方面的行为特征，如时域波形选择自适应行为。雷达波形选择是雷达波形自适应的一种重要手段，目标雷达会建立一个波形库，按照一定准则在波形库内选取发射波形以提高雷达性能。波形选择准则与雷达所处的工作模式(或雷达任务)紧密相关，根据现有的文献资料，雷达任务为目标识别时波形选择准则包括最大互信息量准则(目标为下次发送信号和目标最佳匹配)；最小互信息量(目标为下次发送的信号能获取更多的新信息量，共同的信息量最小)；最大Kullback-Leibler信息准则等，本发明将以最小互信息量为对象。

目前的雷达信号处理领域，作为干扰的一方，一般是针对固定的雷达目标进行识别，然而智能化是未来发展的一个趋势，双方都将逐渐往具有认知能力的方向发展，针对上具有自适应行为的目标，需要更智能的算法对自适应行为进行学习，之后才能利用学习的结果进行高效、实时地攻击。

Q学习算法是强化学习算法的一种，由C.Watkins于1989年在其博士学位论文“Learningfromdelayedrewards”中首次提出，该算法是动态规划的有关理论及动物学习心理学的有力相互结合，以求解具有延迟回报的序贯化决策问题为目标。在Q学习算法中根据时间差分对Markov决策过程的行为值函数进行迭代计算，其迭代计算公式为：Q(st,at)←Q(st,at)+α[rt+1+γmaxa∈AsQ(st+1,at)-Q(st,at)],]]>其中，参数α称为学习率(或学习步长)，γ为折扣率。Q(s_t,a_t)是状态—动作对的值函数，表示在状态s_t下，执行动作a_t，以后再按策略π映射动作所得的报酬，Q学习的目标是它的每一步都是贪心的。

贝叶斯网络通过提供图形化的方法来表示知识，是一个有向无环图，其中结点代表论域中的变量，有向弧代表变量的关系，条件概率表示变量之间影响的程度，通过贝叶斯网络可以清楚地反映实际应用中变量之间的依赖关系。贝叶斯网络又称为信度网，是一种图形化的模型，表示一组变量间的联合概率分布函数。一个贝叶斯网络包括一个结构模型和与之相关的一组条件概率分布函数。