[发明专利]一种具有自适应能力的高效强化学习策略模型

权利要求书

1.一种具有自适应能力的高效强化学习策略模型，其模型将感知状态的低维表示及智能体对自身行动所引发的环境变化的预测作为策略的输入，将产生的动作作为策略的输出。其特征在于，感知状态的低维表示将策略学习聚焦于小搜索空间，只需要少量真实样本的在线学习就可以得到适应于当前环境及任务的策略；智能体对自身行动所引发的环境变化的预测使得即使任务及环境发生了细微变化，智能体仍然能够根据自身对未来的预测进行自适应地调整策略，从而得到一个学习效率高、样本利用率高、具有自适应能力、泛化性能强的策略模型。

2.根据权利要求1所述的高效策略模型，其特征在于，在状态的潜在空间建立模型，利用状态的潜在表示，使策略学习聚焦于小搜索空间；对于状态的潜在表示，利用变分自编码器采用监督学习的方式进行离线训练。

在此基础上，只需要少量真实样本的在线学习就可以得到适用于当前环境及任务的策略，从而达到提高策略的学习效率的目的。

3.根据权利要求1所述的策略模型，其特征在于，利用递归型神经网络预测网络在下一个时刻自身的隐状态作为智能体对自身行动所引发的环境变化的预测。

在自身状态预测信息的协助下，智能体在应对发生变化的任务时，可以根据自身对未来的预测，自适应性地对策略进行调整，从而得到泛化能力强的策略。