[发明专利]一种基于强化学习的环境建模方法

说明书

本发明公开了一种基于强化学习的环境建模方法，旨在通过Model‑basedRL技术，将仿真环境进行建模并存储，旨在降低多智能体强化学习任务中的学习复杂度，进而提升后续多智能体强化学习算法高效求解模块的效率。包括仿真场景选择功能，仿真环境建模功能，环境模型存储功能。仿真场景选择功能包括应急管理、金融期货、交通控制仿真场景选择接入；仿真环境建模功能基于两种模式，即人工辅助模式或智能模式来针对不同的情况对仿真环境建模；环境模型存储功能将上述建模完毕的模型存储到相应的位置以供后续调用，以提升多智能体强化学习算法的学习效率。

技术领域

本发明涉及深度强化学习技术领域，提出了一种基于强化学习的环境建模方法。

背景技术

目前，强化学习技术在游戏、围棋等任务中得到了广泛应用，并在一些复杂场景下取得了优于人类的效果。研究人员试图将强化学习技术推广到更多的应用场景下。将重点放在多步决策问题，传统的识别、预测任务假设过去收集的训练数据和未来在应用场景下测试的数据符合相同的分布。

然而，在多步决策强化学习问题中，在每一步做出决策时，智能系统将面临的未来的状态是不一样的。强化学习需要收集一些数据(即探索)，训练智能体做出较好的决策，而此时收集的数据可能与过去的数据存在一定的差异。为此，需要在决策环境中更好地进行试错和探索，从而找到更好的策略。

强化学习算法需要对环境进行探索，通过试错得到好的策略。然而，在真实场景下，有时试错的成本会非常高，带来严重的后果。例如，在尝试控制锅炉时，可能会引发爆炸。此外，时下兴起的深度强化学习技术需要进行数百万次的试错，计算量十分巨大。研究人员期望尽量降低试错成本和次数的条件下，得到较好的决策。

对于通用性的场景，环境建模首先从数据中将环境还原出来，构建类似于模拟仿真的环境，进而在这个环境中学习如何做出决策。对于具体的应用场景而言，可以针对性地设计仿真环境，然后在环境中进行训练和验证。环境建模避免了强化学习在真实场景下与环境的交互，降低了成本，有效提高了多智能体强化学习任务的学习效率。

发明内容

本发明提供了一种基于强化学习的环境建模方法，旨在通过强化学习技术，环境建模算法，将目标任务通过人工辅助模式或智能模式进行建模存储，以降低后续多智能体强化学习任务的学习复杂度，进而提升多智能体强化学习算法高效求解模块的效率。本发明提出的技术方案如下：

一种新的强化学习环境建模方法，所述方法包括如下步骤：

步骤1，仿真场景选择功能，根据目标任务的类型选择仿真环境，包括应急管理、金融期货和交通控制；

步骤2，仿真环境建模功能，根据所述目标任务的类型判断是否存在专家先验认知，将所述目标任务划分到人工辅助模式或智能模式进行处理，经过处理最后均得到环境文件或环境模型产出；

步骤3，环境模型存储功能，环境模型存储库存储所有产出的环境模型文件，并有选择的供后续多智能体强化学习任务调用学习，以提升多智能体强化学习算法的高效学习。

优选的是，所述步骤1中仿真环境的选择具体为：

S1.1预设置的应急管理环境，包括无人机设备在紧急事件发生前的预警，发生后的应急处理；

S1.2预设置的金融期货环境，包括金融市场环境建模，资产配置环境建模，设计期货合约的多空交易；

S1.3预设置的交通控制环境，包括路口交通灯信号控制环境建模，对车辆行驶轨迹优化，设计不同环境下的智能交通决策。

优选的是，所述步骤2中划分不同模式的具体步骤为：

S2.1判断所述目标任务的类型是否存在专家先验认知；