[发明专利]用于强化学习的方法和设备

权利要求书

1.一种强化学习的方法，所述方法包括：

输入与主题系统有关的训练数据，所述主题系统具有多个状态，每个状态通过图像数据来限定，并且对于每个状态，所述主题系统具有从所述状态中的一个移转到下一个所述状态的动作集合，所述图像数据包括图像序列，

其中所述训练数据通过以一系列所述动作在所述系统上操作而被生成、并且包括包含多个转化的经验数据，每个转化包括相应的起始状态数据、动作数据以及下一个状态数据，所述相应的起始状态数据、动作数据以及下一个状态数据对于多个所述动作分别限定起始状态、动作以及由于所述动作所致的下一个所述状态；以及

训练第二神经网络，所述第二神经网络是与第一神经网络相同的神经网络的实例，其中，训练所述第二神经网络包括：

从所述经验数据中选择转化；

通过所述第一神经网络生成用于所述选择的转化的目标动作值参数；

基于由所述第一神经网络生成的所述目标动作值参数与由所述第二神经网络生成的动作值参数之间的差来更新所述第二神经网络的权重。

2.根据权利要求1所述的方法，进一步包括：利用来自所述第二神经网络的已学习的动作值参数来选择所述动作，其中所述动作响应于为在所述系统的状态下可用的动作集合中的每个动作确定的动作值参数而被选择。

3.根据权利要求2所述的方法，其中，所述经验数据从所述选择的动作得出，所述方法进一步包括：通过与限定所述动作的相应的所述起始状态和下一个状态的数据相关联地存储限定由所述第二神经网络选择的所述动作的数据，生成所述经验数据。

4.根据权利要求3所述的方法，其中，所述目标动作值参数是通过向所述第一神经网络提供限定所述动作和所述下一个状态的所述数据来生成的，并且所述第二神经网络是利用所述目标动作值参数和限定所述起始状态的所述数据来训练的。

5.根据权利要求2所述的方法，进一步包括：

输入限定所述系统的状态的状态数据；

将所述系统的所述状态的表示提供给所述第二神经网络；

为在所述状态下可用的所述动作集合中的每个动作从所述第二神经网络检索已学习的所述动作值参数；以及

从所述第二神经网络选择要执行的动作，所述动作具有最大或最小的所述已学习的动作值参数。

6.根据权利要求5所述的方法，进一步包括：存储来自所述系统的经验数据，其中所述经验数据通过以利用所述第二神经网络选择的所述动作在所述系统上操作而被生成，并且其中所述训练数据包括所述存储的经验数据。

7.根据权利要求6所述的方法，进一步包括：

从所述经验数据选择用于多个所述动作中的一个的起始状态数据、动作数据以及下一个状态数据；

将来自所述下一个状态数据的所述下一个状态的表示提供给所述第一神经网络；

根据所述第一神经网络确定用于所述下一个状态的最大或最小的已学习的动作值参数；

根据用于所述下一个状态的所述最大或最小的已学习的动作值参数，确定用于训练所述第二神经网络的目标动作值参数。

8.根据权利要求7所述的方法，其中，所述训练所述第二神经网络包括：将来自所述起始状态数据的所述起始状态的表示提供给所述第二神经网络，以及调节所述神经网络的权重，以使用于通过所述动作数据限定的动作的已学习的动作值参数更接近于所述目标动作值参数。

9.根据权利要求7所述的方法，其中，所述经验数据还包括限定由于采取的所述动作所致的所述系统的奖励值或成本值的奖励数据，并且其中所述确定所述目标动作值参数包括分别通过所述奖励值或所述成本值调节用于所述下一个状态的所述最大或最小的已学习的动作值参数。

10.根据权利要求1所述的方法，其中，所述系统的状态包括随着时间对所述系统的观察的序列，所述时间表示所述系统的历史。