[发明专利]基于多任务学习的决策方法、决策模型训练方法及装置

权利要求书

1.一种基于多任务学习的决策模型训练方法，其特征在于，包括：

随机从第一样本数据库中获取多个样本数据；所述第一样本数据库中包括多个候选任务的样本数据，目标任务的样本数据包括所述目标任务对应的任务向量，所述目标任务对应的任务向量是基于所述多个候选任务中的共性子任务和特性子任务得到的，其中，所述目标任务为所述多个候选任务中的任一个；

利用强化学习方法，根据所述多个样本数据调整决策模型M_t中的参数，以得到决策模型M_t+1；

当所述决策模型M_t+1收敛时，确定所述决策模型M_t+1为目标决策模型。

2.根据权利要求1所述的方法，其特征在于，所述随机从第一样本数据库中获取多个样本数据之前，所述方法还包括：

从所述多个候选任务中获取目标任务；

根据所述目标任务获取所述目标任务的状态信息s_t，并根据所述目标任务获取所述目标任务对应的任务向量，

根据所述目标任务的状态信息s_t、所述目标任务对应的任务向量及所述决策模型M_t产生所述目标任务的样本数据，将所述目标任务的样本数据添加至初步样本数据库，得到所述第一样本数据库。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标任务获取所述目标任务对应的任务向量，包括：

对所述多个候选任务中的每个候选任务进行任务分解，以得到所述每个候选任务对应的子任务；

根据所述多个候选任务中每个候选任务对应的子任务提取所述多个候选任务的特性子任务和共性子任务；

根据所述多个候选任务的特性子任务和共性子任务获取所述目标任务对应的任务向量。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标任务的状态信息s_t、所述目标任务对应的任务向量及所述决策模型M_t产生所述目标任务的样本数据，包括：

将所述目标任务的状态信息s_t和所述目标任务对应的任务向量输入所述决策模型M_t中进行处理，以得到所述目标任务的候选动作；

根据预设概率从所述目标任务的候选动作和随机从所述动作空间中获取的动作中选取出所述目标任务的目标动作，所述候选动作被选中的概率为所述预设概率；

在所述目标动作被执行后，获取所述目标任务的状态信息s_t+1，并根据所述目标任务的状态信息s_t+1获取所述目标任务的奖励值向量；所述奖励值向量中的奖励值与所述目标任务对应的任务向量中的元素所对应的子任务一一对应；

所述目标任务的样本数据包括所述目标任务对应的任务向量、所述目标任务的状态信息s_t、所述目标任务的目标动作、所述目标任务的状态信息s_t+1和所述目标任务的奖励值向量。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标任务的状态信息s_t和所述目标任务对应的任务向量输入所述决策模型M_t中进行处理，以得到所述目标任务的候选动作，包括：

所述决策模型M_t根据所述目标任务的状态信息s_t和所述目标任务对应的任务向量获取所述目标任务的动作值函数向量；

所述决策模型M_t根据所述目标任务的动作值函数向量和所述目标任务对应的任务向量获取所述目标任务的值函数；

所述决策模型M_t根据所述目标任务的值函数从动作空间中获取所述目标任务的候选动作，所述候选动作为所述动作空间中使所述目标任务的值函数取值最大的动作。