[发明专利]基于策略选项的分层强化学习方法和装置

说明书

本发明公开了一种基于策略选项的分层强化学习方法和装置，所述方法包括：构建高层策略网络、低层策略网络和评价网络；从仿真环境，获取状态轨迹；基于状态轨迹和策略在线算法的学习过程，对高层策略网络、低层策略网络和评价网络的参数进行更新；根据更新参数后的高层策略网络、低层策略网络和评价网络，生成更新后的策略模型，并对更新后的策略模型进行测试。本发明实施例的基于策略选项的分层强化学习方法，能够在仿真环境中从零开始学习动作和高层策略，且性能稳定、数据使用效率高。

技术领域

本发明涉及机器学习技术领域，特别涉及一种基于策略选项的分层强化学习方法和一种基于策略选项的分层强化学习装置。

背景技术

近年来，深度学习在模式识别、计算机视觉、自然语言处理等领域取得了巨大突破。将深度学习的感知能力和强化学习的决策能力相结合产生了深度强化学习，可以直接根据输入的图像进行控制，是一种思维方式的人工智能方法。例如，深度强化学习已经在围棋、部分电子竞技游戏等具体场景中取得了超越人类的表现，并逐渐被应用至非线性系统控制、对抗性人工智能设计等领域。在传统强化学习中，由于智能体的行为过程被表述为一个马尔可夫决策过程，强化学习算法仅仅学习针对单个状态的策略而难以学习更高层次的宏观策略。近几年的研究提出了分层强化学习，旨在将一项复杂的任务分解得到不同层次的子任务，使智能体学习从宏观到微观不同层次的策略。

基于策略选项的分层强化学习是分层强化学习的一个分支，已有的基于策略选项的学习算法虽然能够使智能体学习到相对复杂的高层策略，但也存在性能不稳定、数据使用效率低等问题。

发明内容

本发明旨在至少从一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于策略选项的分层强化学习方法，该方法能在仿真环境中从零开始学习动作和高层策略，且性能稳定、数据使用效率高。

本发明的第二个目的在于提出一种基于策略选项的分层强化学习装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达到上述目的，本发明第一方面提出了一种基于策略选项的分层强化学习方法，包括以下步骤：

构建高层策略网络、低层策略网络和评价网络；

从仿真环境，获取状态轨迹；

基于所述状态轨迹和策略在线算法的学习过程，对高层策略网络、低层策略网络和评价网络的参数进行更新；

根据更新参数后的高层策略网络、低层策略网络和评价网络，生成更新后的策略模型，并对所述更新后的策略模型进行测试。

根据本发明实施例的基于策略选项的分层强化学习方法，先构建高层策略网络低层策略网络和评价网络V，并从仿真环境，获取状态轨迹，然后，基于状态轨迹和策略在线算法的学习过程，对高层策略网络低层策略网络和评价网络V的参数进行更新，最后，根据更新后的高层策略网络低层策略网绉和评价网络V生成更新后的策略模型，并对更新后的策略模型进行测试。由此，该方法能够在仿真环境中从零开始学习动作和高层策略，且性能稳定、数据使用效率高。

另外，根据本发明上述实施例的基于策略选项的分层强化学习方法还可以具有以下附加的技术特征：

在本发明的一个实施例中，所述基于所述状态轨迹和策略在线算法的学习过程，对高层策略网络、低层策略网络和评价网络的参数进行更新，包括：

初始化所述仿真环境、高层策略网络低层策略网络和评价网络V，并初始化当前状态s_t和当前策略选项o_t；