[发明专利]加强学习系统

摘要

本公开提供了方法、系统和装置，其包括在计算机存储介质上编码的计算机程序，所述计算机程序用于预测与环境有关的结果。在一个方面，一种系统包括状态表示神经网络，被配置为接收表征与代理交互的环境的状态的观察，并处理该观察以生成环境状态的内部状态表示；预测神经网络，被配置为接收当前环境状态的当前内部状态表示，并处理当前内部状态表示以生成环境的后续状态的预测后续状态表示和用于后续状态的预测回报；和值预测神经网络，被配置为接收当前环境状态的当前内部状态表示，并处理当前内部状态表示以生成值预测。

主权项

1.一种由一个或多个计算机实现的系统，该系统包括：状态表示神经网络，被配置为：接收一个或多个观察，其表征正与代理交互的环境的状态，以及处理所述一个或多个观察以生成当前环境状态的内部状态表示；预测神经网络，被配置为针对多个内部时间步骤中的每一个：接收用于内部时间步骤的内部状态表示；和处理用于内部时间步骤的内部状态表示以生成：用于下一内部时间步骤的内部状态表示，和用于下一内部时间步骤的预测回报；值预测神经网络，被配置为针对所述多个内部时间步骤中的每一个：接收用于内部时间步骤的内部状态表示，和处理用于内部时间步骤的内部状态表示以生成值预测，该值预测是对从下一内部时间步骤开始的未来累积折扣回报的估计；和预测子系统，被配置为：接收表征环境的状态的一个或多个观察；提供所述一个或多个观察作为状态表示神经网络的输入，以生成当前环境状态的内部状态表示；针对所述多个内部时间步骤中的每一个：使用预测神经网络和值预测神经网络以及根据用于内部时间步骤的内部状态表示来生成：用于下一内部时间步骤的内部状态表示、用于下一内部时间步骤的预测回报、以及值预测；和根据用于内部时间步骤的预测回报和值预测来确定总回报。