[发明专利]基于图像输入的多智能体跨模态深度确定性策略梯度训练方法

权利要求书

1.一种基于图像输入的多智能体跨模态深度确定性策略梯度训练方法，其特征在于，包括以下步骤：

S1.搭建仿真器中的实验平台，定义交互物体与机械臂类型，定义机械臂控制任务的最终目标与奖惩规则，明确双智能体的状态空间和动作空间；

S2.基于深度确定性策略梯度算法，为两组智能体：teacher和student建立决定行动的actor模块与评判反馈的critic模块，两种模块都基于深度神经网络搭建，并随机初始化网络参数；

S3.利用仿真环境中容易直接读取的全状态信息结合深度确定性策略梯度预先训练导师智能体的actor和critic模块，该训练过程包括智能体对环境的探索和智能体利用探索收集到的数据对actor和critic模块进行更新；

S4.利用训练好的导师智能体，指导学徒智能体actor模块的训练，该过程包括：学徒智能体对环境的单独探索和学徒智能体利用探索收集到的数据以及导师智能体给予的梯度指导耦合优化actor模块，同时利用学徒智能体的训练数据以极小学习率优化导师的actor与critic模块；具体包括：

S41.学徒actor模块包含两个结构完全相同，参数更新时间不一致的网络模型，及时更新参数的网络模型μ为在线actor，其参数表示为θ^μ；延迟更新参数的网络模型μ′为目标actor，其参数表示为θ^μ’；

对于目标actor，根据经验池中随机采样的样本[s_L,s_H,a,r,s_L’,s_H’]，其中s_L和s_H分别为当前时刻下的全状态信息和图像信息，s′_L和s′_H分别为下一个时刻的全状态信息和图像信息；利用下述梯度下降公式优化学徒在线actor：

公式中第一项利用导师智能体的在线critic模块根据采样样本中的全状态模态信息s_L与动作a计算状态-动作对的Q值，该Q值取负后作为损失函数的第一项参与梯度计算；上述公式的第二项描述了两个智能体的actor在接收同一时刻下同一场景的不同模态表现形式得到动作输出的相似程度；μ_t和μ_s分别为导师actor模块的网络和学徒actor模块的网络，r表示回报；

目标actor是在线actor的延迟更新，目标actor的参数更新公式为：

θ^μ’＝τθ^μ+(1-τ)θ^μ’，其中τ为平衡因子；

S42.利用步骤S41的更新公式更新学徒智能体的actor模块，并利用更新后的actor模块对环境进行探索得到新的探索样本[s_L,s_H,a,r,s_L’,s_H’]，将新的探索样本加入到原本的经验池中，如果样本数量达到经验池的最大样本数量，则用最新的探索样本替换旧的样本；

S43.利用样本[s_L,a,r,s_L’]以小步长更新导师的actor与critic模块，让导师智能体也能收益于学徒智能体的环境探索经验；

S44.重复步骤S42与S43直至满足导师智能体的优化终止条件或达到最大迭代步数；

S5.重复步骤S4，直到智能体的决策满足优化终止条件。