[发明专利]用于实现导航的可迁移的元学习的无监督DQN强化学习

权利要求书

1.用于实现导航的可迁移的元学习的无监督DQN强化学习方法，其特征在于：所述方法的ULTRA框架包括三个部分，无监督的对抗性任务生成、共享层次结构策略和元强化学习；

所述的无监督的对抗性任务生成的基于任务的对抗性训练过程包含任务生成器和元学习器；任务生成器自动生成多组任务，而没有来自环境的任何监督信号，元学习者将尝试完成这些任务；

所述的共享层次结构策略，元学习器的体系结构是共享层次结构策略，其中包含一个主策略和一组子策略；在每个主时间脉络中，主策略首先根据算法随机进行选择要激活的子策略，然后所选的子策略执行主操作。

所述的元强化学习，是使用强化学习的算法对整个任务中所有主策略下分配的子策略的参数进行优化。

2.根据权利要求1所述的用于实现导航的可迁移的元学习的无监督DQN强化学习方法，其特征在于：所述任务生成器自动生成多样化任务的集合，从简单的任务开始逐渐增加难度，之后随机生成难度不等的任务；任务生成器的奖励功能包括四个部分d1、d2、d3、d4，这四种奖励通过激励函数F，再加上偏置项b，即可得到奖励系数k：

k＝F(avg(d1，d2，d3，d4))

在使用元学习者在多个情节之后的平均成功率r来衡量任务的难度并给予生成者最终的回报。最终的奖励定义为：

R_final＝b+(1-r)*k 。

3.根据权利要求2所述的用于实现导航的可迁移的元学习的无监督DQN强化学习方法，其特征在于：鼓励元学习者探索更广泛的状态空间，以建立对环境的更好的视觉和物理理解，设计中添加了一个附加项：在任务生成器的奖励函数中鼓励它生成更多不同的任务，让π表示当前制度方案，而π^～表示先前的方案，多样性度量D公式为：

其中τ是当前任务的运动轨迹，∏是先前方案的集合；之后保存以前的方案响应集合n中的最后四个步骤；本发明的技术方案使用交叉熵：

来度量当前任务方案与先前任务方案之间的差异；任务多样性的目的是激励任务生成器生成覆盖环境更大状态空间的更具有多样性的任务；

任务生成器的总奖励R：

其中和η是权重超参数，n是任务生成器执行的操作数对于元学习者。

4.根据权利要求1所述的用于实现导航的可迁移的元学习的无监督DQN强化学习方法，其特征在于：所述的共享层次结构策略，φ表示主策略的参数，θ＝{θ₁，θ₂，...，θ_K}表示K个子策略的参数，φ是特定于任务的参数，可从头开始为每个任务学习。

5.根据权利要求4所述的用于实现导航的可迁移的元学习的无监督DQN强化学习方法，其特征在于：θ在所有任务之间共享，并由特定于任务的主策略在之间切换；对于任务生成器在生成期间生成的每个任务在对抗训练过程中，首先将φ随机初始化，然后对其进行优化，以使给定固定的共享参数θ；通过子策略共享层次结构的方法，可以使主策略更快速合理准确的选择子策略对任务进行处理。