[发明专利]面向超实时仿真环境的分布式强化学习训练方法及装置

说明书

本发明实施例提供一种面向超实时仿真环境的分布式强化学习训练方法及装置，所述方法包括：通过将超实时仿真环境与行动器部署在同一台虚拟机上，并控制超实时仿真环境在向所述行动器发送环境观察时添加包含有动作指令最晚反馈时间限制信息的附加信息戳，控制行动器根据环境观察输出动作决策并将动作决策转换为动作指令，同时控制行动器根据动作指令最晚反馈时间限制信息判断若动作指令未在动作指令最晚反馈时间限制内发送至超实时仿真环境，则控制行动器暂停超实时仿真环境的运行直至行动器将动作指令发送至所述超实时仿真环境，从而能够缩短分布式强化学习框架的决策流程时长，避免因过长决策延时导致下达动作指令失效。

技术领域

本发明涉及分布式强化学习技术领域，尤其涉及一种面向超实时仿真环境的分布式强化学习训练方法及装置。

背景技术

深度强化学习(Deep Reinforcement Learning，简称“DRL”)通过使用深层网络来表示估值函数、策略和模型，实现了由神经网络驱动的端到端学习。深度强化学习使得强化学习技术真正应用在现实场景中，解决如自然语言处理、机器人控制、资源调度、性能优化、仿真模拟、游戏博弈等领域的复杂问题。

然而，日益复杂的应用问题也极大地增加了深度强化学习的训练难度，导致计算资源消耗量的急速增长。受制于功耗与工艺进步的限制，单台计算设备的CPU、GPU性能提升日趋缓慢，已经远远无法满足深度强化学习大规模试错的要求。因此系统整体算力的提高必须借助于分布式集群与分布式强化学习框架，通过分布式计算的方式来满足深度强化学习训练飞速增长的性能需求。另一方面，目前的深度强化学习技术还不能普及到考虑逻辑推理与情感分析的复杂现实场景，因此拥有一个适当抽象的仿真环境是开展强化学习训练的重要基础。仿真环境负责为智能体构建一个虚拟的世界，为其设定具体任务目标，并为不同的试验行为提供反馈以及奖励机制等等。

然而，当深度强化学习应用于超实时仿真环境中时，仿真时钟显著快于实际物理时钟，即模型仿真的解算速度可快于实际系统运行的速度数十倍甚至数百倍。若在现实场景下，实体需在数秒钟的物理时间内做出决策与动作，那运行在超实时仿真环境中的智能体则需要在毫秒级的延时内从环境获取观察，做出决策，并下达相应动作指令。现有的分布式强化学习框架的决策流程耗时长，获取观察、奖励以及下达动作指令的延迟较高。这往往导致动作指令到达环境后，环境状态与指令执行的上下文已经发生了重大改变，此时继续执行过时的动作指令将无法实现预期的效果。

因此，如何提出一种方法，能够缩短分布式强化学习框架的决策流程时长，降低获取动作指令的延迟，从而应用于超实时仿真环境，成为亟待解决的问题。

发明内容

本发明实施例提供一种面向超实时仿真环境的分布式强化学习训练方法及装置，用以解决现有技术中分布式强化学习框架的决策流程时长的缺陷，实现降低获取动作指令的延迟，从而应用于超实时仿真环境。

本发明实施例提供一种面向超实时仿真环境的分布式强化学习训练方法，所述方法应用于对分布式强化学习系统进行训练，所述系统包括：由超实时仿真环境和行动器组成的训练单元；

相应地，所述方法包括：

将所述超实时仿真环境与所述行动器部署在同一台虚拟机上；

控制所述超实时仿真环境在向所述行动器发送环境观察时添加附加信息戳，所述附加信息戳中包含有动作指令最晚反馈时间限制信息；

控制所述行动器根据所述环境观察输出动作决策并将所述动作决策转换为动作指令，同时控制所述行动器根据所述动作指令最晚反馈时间限制信息判断所述动作指令是否在动作指令最晚反馈时间限制内发送至所述超实时仿真环境，若否，则控制所述行动器暂停所述超实时仿真环境的运行直至行动器将所述动作指令发送至所述超实时仿真环境。