[发明专利]一种序贯同步博弈的双树蒙特卡洛搜索算法

摘要

本发明公开了一种用于解决大规模序贯同步博弈问题的双树蒙特卡洛搜索算法，相比于单树结构的序贯同步蒙特卡洛搜索，在保留同步特点的基础上，建立两棵树表示博弈双方的状态转移情况，使得博弈树的选择分支大大减少，在维持同步行动特点的同时，减小了博弈树的规模。消除了同步动作造成的双方动作组合爆炸问题，增加搜索深度，既保证了求解质量，又提高了求解效率。具体的技术手段包括：通过构建纳什均衡支撑库，解决同步的纳什均衡在线计算时间过长的问题；设计序贯同步博弈的深度策略网和深度估值网，实现序贯同步搜索的知识引导；研究面向环境的强化学习，解决状态转移或收益缺失下的决策问题。

主权项

1.一种序贯同步博弈的双树蒙特卡洛搜索算法，所述算法适用于一种搜索系统，该系统包括搜索服务器、搜索入口及搜索装置，其特征在于，所述算法包括以下步骤：步骤1‑1：建立序贯同步的双博弈树，分别对同步和序贯进行抽象，并对全局寻优进行建模，分别用A、B表示两个玩家，在一个环境下获得双方的动作序列，对手决策节点只能执行动作，对手的信息通过环境完成交互；步骤1‑2：针对完美信息和非完美信息情况下的博弈树节点性质和搜索算法进行区分，并分别进行改进；步骤1‑3：对序贯同步博弈进行知识增强；步骤1‑4：通过选择阶段、扩展阶段、估值阶段和更新阶段，循环迭代提高搜索效率。