[发明专利]一种不完美信息扩展式博弈中计算最佳反应策略的方法

说明书

技术领域

本发明涉及一种不完美信息扩展式博弈中计算最佳反应策略的方法。

背景技术

博弈论被广泛应用于经济、政治、安全、游戏等领域中，具有重大的研究和应用价值。一类重要的博弈类型是不完美信息扩展式博弈（imperfect information extensive-form game），它在日常生活中也很常见，例如：扑克、麻将等。博弈论研究的核心问题是计算出有效的博弈策略，使局中人（player）在博弈中获得理想的博弈收益（utility）。这其中包含：(1) 纳什均衡（Nash equilibrium）策略的计算；(2) 最佳反应（best response）策略的计算。

纳什均衡是博弈论中的最基本的概念之一，在博弈中使用纳什均衡策略能够保证局中人不被对方利用（exploit）。但它是基于对手绝对理性的假设，而绝大多数对手都是非理性或有限理性的。针对特定对手，采用最佳反应策略往往能使局中人获得更高的收益。

目前，在计算最佳反应策略这一问题的研究工作中，绝大多数方法都采用了对手建模（opponent modeling），即：首先通过统计观察，得出对手的策略模型，然后在该策略模型的基础上通过优化方法得到最佳反应策略。然而，这些方法没有考虑到对手的策略是有可能动态变化的。在对手的策略不断变化的情形下，对手建模的方法无法建立准确的对手策略模型，因此无法在博弈中获得较高的博弈收益。另外，对手建模方法所耗费的计算量也比较大，在大规模博弈（即：状态空间很大）中无法有效应用。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种不完美信息扩展式博弈中计算最佳反应策略的方法，针对不完美信息扩展式博弈中，对手策略动态变化的情形，提出从遗憾最小化（regret minimization）的角度来计算最佳反应策略，避免对手建模，同时也提高计算速率。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种不完美信息扩展式博弈中计算最佳反应策略的方法，包括如下步骤：

（1）初始化局中人                                                的策略、所有信息集的虚拟价值和虚拟遗憾值，其中为有限局中人集合；

（2）根据当前策略，与对手进行一次博弈，并记录博弈结果；

（3）对于在本次博弈中每一个被访问的信息集，根据目前为止所得到的所有博弈结果计算出该信息集的虚拟价值；

（4）根据步骤（3）所得到的虚拟价值，计算出每个信息集上每一个动作的虚拟遗憾值，其中表示在信息集上可以执行的动作的集合；

（5）在每一个被访问的信息集上执行遗憾值匹配过程，更新该信息集上的策略；

（6）返回步骤（2），直至不再有博弈进行。

进一步的，所述步骤（3）中，采用基于统计采样的方法，从目前所得到的博弈结果中计算出每个终止信息集的虚拟价值；而非终止信息集的虚拟价值通过其后继信息集的虚拟价值计算出来。

进一步的，所述步骤（4）中，将信息集的虚拟价值与信息集的虚拟价值相减，得到动作的虚拟遗憾值，其中表示在信息集执行动作后所到达的信息集。

进一步的，所述步骤（5）中，采用遗憾值匹配的方式，计算信息集上动作的执行概率：如果动作的虚拟遗憾值越大，表明不执行动作所造成的遗憾也就越大，相应地就应该更多地提高动作的执行概率。

有益效果：本发明与现有方法相比，其显著优点是避免了对对手策略模型的建立，能够对对手策略的动态变化做出快速反应，相对于对手建模方法，本发明能够获得更高的胜率（win rate）和博弈收益（utility），运行速度也大大提高。

附图说明

图1为本发明的总体架构图；

图2为本发明的流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。