[发明专利]基于图像输入的多智能体跨模态深度确定性策略梯度训练方法

摘要

本发明涉及一种基于图像输入的多智能体跨模态深度确定性策略梯度训练方法；首先构建在仿真平台中的机械臂训练环境；之后构造两个利用不同模态输入的导师(teacher)和学徒(student)智能体；然后基于深度确定性策略梯度算法，训练导师的actor模块与critic模块和学徒的actor模块，最终实现基于图像输入的跨模态深度强化学习机械臂训练算法；在总体训练完成的时候，就能够只使用学徒的演员网络，接受高维度的图像输入，输出能够完成任务的动作，并且这样的方法很适合迁移到真实环境中，由于真实环境无法提供全状态模态的信息，但是图像模态的信息较为容易获得，所以当训练好学徒的演员网络之后，就可以抛弃全状态模态信息的需求，直接利用图像输入获得比较好的输出策略。

主权项

1.一种基于图像输入的多智能体跨模态深度确定性策略梯度训练方法，其特征在于，包括以下步骤：S1.搭建仿真器中的实验平台，定义交互物体与机械臂类型，定义机械臂控制任务的最终目标与奖惩规则，明确双智能体的状态空间和动作空间；S2.基于深度确定性策略梯度算法，为两组智能体：teacher和student建立决定行动的actor模块与评判反馈的critic模块，两种模块都基于深度神经网络搭建，并随机初始化网络参数；S3.利用仿真环境中容易直接读取的全状态信息结合深度确定性策略梯度预先训练导师智能体的actor和critic模块，该训练过程包括智能体对环境的探索和智能体利用探索收集到的数据对actor和critic模块进行更新；S4.利用训练好的导师智能体，指导学徒智能体actor模块的训练，该过程包括：学徒智能体对环境的单独探索和学徒智能体利用探索收集到的数据以及导师智能体给予的梯度指导耦合优化actor模块，同时利用学徒智能体的训练数据以极小学习率优化导师的actor与critic模块；S5.重复步骤S4，直到智能体的决策满足优化终止条件。