[发明专利]基于帕累托优化的多目标强化学习方法和装置

权利要求书

1.一种基于帕累托优化的多目标强化学习方法，其特征在于，所述方法包括：

采用概括的方式处理多目标强化学习问题，为每个策略计算每个子目标的Q值；

使用帕累托支配理论对所述子目标Q值进行非支配排序以获得帕累托前沿集；

从所述帕累托前沿集中随机选择动作与环境进行交互；

生成基于帕累托前沿集的多目标DQN算法，并利用所述DQN算法对目标网络进行训练以生成策略网络；

根据所述策略网络对所述帕累托前沿的子目标Q值的期望进行更新。

2.如权利要求1所述的方法，其特征在于，所述采用概括的方式处理多目标强化学习问题，为每个策略计算每个子目标的Q值的步骤，包括：

根据多目标强化学习问题定义策略π₁严格支配策略π₂，π₁＞π₂，当且仅当该策略π₁在每个目标上的表现不比π₂策略差并且至少在其中一个目标上严格优于π₂策略；

基于Q-learning的强化学习使用并行学习每个目标的Q值。

3.如权利要求1所述的方法，其特征在于，所述使用帕累托支配理论对所述子目标Q值进行非支配排序以获得帕累托前沿集的步骤，包括：

在多目标马尔可夫决策过程中，假设所有目标都最大化，定义为包含多目标马尔可夫决策过程p中的策略π集合；

属于的策略中的至少一个目标方面优于其他策略π'，如下式所示：

其中O_p是任务p中设置的目标，Πp表示任务p的策略集，ε_o定义了一个最小正值，该集合是多目标马尔可夫决策过程中的帕累托前沿集合。

4.如权利要求1所述的方法，其特征在于，所述从所述帕累托前沿集中随机选择动作与环境进行交互的步骤，包括：

从Pareto前沿集中随机选择动作以使用如下公式与环境交互：

a＝random_a{Q(s,a|θ)}_{patero_front}。

5.如权利要求1所述的方法，其特征在于，所述生成基于帕累托前沿集的多目标DQN算法，并利用所述DQN算法对目标网络进行训练以生成策略网络的步骤，包括：

采用增量更新的方法在空间连续任务中学习，生成基于帕累托前沿集的多目标DQN方程，如下所示：

其中，表示目标网络的估计值Q，Q(s_t,a_t)展示行为网络的估计值Q，γ是折扣因子；

利用所述DQN方程对目标网络进行训练以生成策略网络。

6.如权利要求5所述的方法，其特征在于，所述利用所述DQN方程对目标网络进行训练以生成策略网络的步骤，包括：

利用所述DQN方程对目标网络进行训练，从帕累托前沿集中随机选择动作；

根据下式对每个目标使用方程的期望进行确定：

其中，每个目标可以有不同的折现因子γ。

7.如权利要求1至6任一项所述的方法，其特征在于，在强化学习中，动作值是根据状态s中的策略π选择动作所获得的预期回报，用贝尔曼方程表示为：

q_π(s,a)＝∑_s',rp(s',r|s,a)[r+γmax_a'q_π(s',a')]。