[发明专利]深度强化学习模型的更新方法、装置、框架、介质及设备

说明书

本公开涉及一种深度强化学习模型的更新方法、装置、框架、介质及设备，所述方法包括：获取深度强化学习模型与虚拟环境交互所产生的交互序列，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的第一状态、决策动作、以及在所述虚拟环境处于所述第一状态对应的状态下执行所述决策动作所得到的回报值和第二状态；针对每一采样数据，根据所述采样数据对应的目标采样数据，确定所述深度强化学习模型对应的更新梯度信息；根据所述更新梯度信息对所述深度强化学习模型进行更新。由此，从而使得确定出的更新梯度信息与深度强化学习的实际处理过程相匹配，以提高基于该更新梯度信息对深度强化学习模型进行更新的准确性和效率。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种深度强化学习模型的更新方法、装置、框架、介质及设备。

背景技术

随机计算机技术的发展，各类大型模型、复杂的机器学习模型逐渐开始应用。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，更接近人类思维方式。在深度强化学习模型的训练过程中，对深度强化学习模型的更新过程则尤为重要。

相关技术中，梯度更新算法通常是基于当前步的策略或回报进行更新，难以通过梯度优化的方式确定出最优策略，从而难以保证深度强化学习模型的更新准确度和效率。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种深度强化学习模型的更新方法，所述方法包括：

获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的第一状态、决策动作、以及在所述虚拟环境处于所述第一状态对应的状态下执行所述决策动作所得到的回报值和第二状态；

针对每一采样数据，根据所述采样数据对应的目标采样数据，确定所述深度强化学习模型对应的更新梯度信息，其中，所述采样数据对应的所述目标采样数据包括所述采样数据本身，并且，若所述采样数据不为所述交互序列中的最后一个采样数据，则所述目标采样数据还包括所述交互序列中处于所述采样数据之后的每一采样数据，所述更新梯度信息包括状态值函数对应的梯度信息、动作值函数对应的梯度信息和策略梯度信息中的至少一种；

根据所述更新梯度信息对所述深度强化学习模型进行更新。

第二方面，提供一种深度强化学习模型的更新装置，所述装置包括：

获取模块，用于获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的第一状态、决策动作、以及在所述虚拟环境处于所述第一状态对应的状态下执行所述决策动作所得到的回报值和第二状态；

确定模块，用于针对每一采样数据，根据所述采样数据对应的目标采样数据，确定所述深度强化学习模型对应的更新梯度信息，其中，所述采样数据对应的所述目标采样数据包括所述采样数据本身，并且，若所述采样数据不为所述交互序列中的最后一个采样数据，则所述目标采样数据还包括所述交互序列中处于所述采样数据之后的每一采样数据，所述更新梯度信息包括状态值函数对应的梯度信息、动作值函数对应的梯度信息和策略梯度信息中的至少一种；

更新模块，用于根据所述更新梯度信息对所述深度强化学习模型进行更新。

第三方面，提供一种深度强化学习框架，在所述深度强化学习框架进行训练的过程中，通过第一方面所述深度强化学习模型的更新方法进行更新。

第四方面，提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。