[发明专利]一种非完备信息下的神经网络与Q学习结合的估值方法

摘要

本发明提供了一种非完备信息下的神经网络与Q学习结合的估值方法，步骤1将非完备信息转换成部分可观测马尔科夫决策模型；步骤2通过蒙特卡洛抽样技术把非完备信息博弈转换为完备信息博弈；步骤3采用基于前 n步的Q学习算法，神经网络与Q学习结合的算法以及基于上限置信区间算法UCT计算Q学习延迟回报的值；步骤4将前一步骤得到的Q值融合，得到最终结果。本发明提出的技术方案可以应用到多种非完备信息博弈中，比如“斗地主”，德州扑克等，并提高了智能体的博弈水平。本发明与现有的相关研究相比，在精度上有了较大的提升。

主权项

一种非完备信息下的神经网络与Q学习结合的估值方法，其特征在于，包括以下步骤：步骤1：将非完备信息转换成部分可观测马尔科夫决策模型POMDP；步骤2：通过蒙特卡洛抽样技术把非完备信息博弈转换为完备信息博弈；步骤3：采用基于前n步的Q学习算法Pn‑stepQ、神经网络与Q学习结合的算法NFQ以及基于上限置信区间算法UCT计算Q学习延迟回报的值；步骤3.1：基于前n步的Q学习算法Pn‑stepQ；步骤3.2：神经网络与Q学习结合NFQ的算法；步骤3.2.1：传统的Q值表示；步骤3.2.2：Fuzzy‑Q学习；步骤3.2.3：基于NF改进的Q学习估值函数模型；步骤3.3：基于上限置信区间算法UCT；步骤3.3.1：UCB1策略；步骤3.3.2：基于UCT策略改进的Q学习回报函数；步骤4：将前一步骤得到的Q值融合，得到最终结果。