[发明专利]一种基于深度确定性策略梯度的异构多智能体协同决策方法

摘要

本发明涉及一种基于深度确定性策略梯度的异构多智能体协同决策方法，属于异构智能无人系统的协同决策领域，包括以下步骤：首先，定义异构多智能体的特征属性和奖惩规则，明确智能体的状态空间和动作空间,构建多智能体进行协同决策的运动环境；然后，基于深度确定性的策略梯度算法，建立进行决策行动的actor模块和进行评判反馈的critic模块，并训练学习模型的参数；利用训练好的模型，得到智能体的状态序列；依据环境中设置的奖惩规则，对智能体的运动状态序列进行态势的评估。本发明可以根据实际需求构建合理的运动环境，通过系统中多智能体间的彼此协同，达到智能感知、策略优化的目的，对我国无人系统领域的发展具有积极的作用。

主权项

1.一种基于深度确定性策略梯度的异构多智能体协同决策方法，其特征在于，包括以下步骤：步骤1：定义异构多智能体的特征属性和奖惩规则，明确智能体的状态空间和动作空间，将每一个智能体抽象为环境中的一个运动节点，构建异构多智能体进行协同决策的运动环境；步骤2：基于深度确定性策略梯度算法,建立进行决策行动的actor模块和评判反馈的critic模块，随机初始化参数；步骤3：多智能体在步骤1构建的运动环境中，自主随机地进行运动探索：各智能体根据当前的状态s，由actor模块得到动作a，并到达下一状态s'；同时,依据奖惩规则计算在当前状态s下采取动作a到达下一状态s'时环境所给予的奖惩回报r，将每一步的<当前状态s，当前动作a，下一步状态s'，奖惩回报r>储存到经验池中；步骤4：根据步骤3经验池中存储的对，对critic模块和actor模块的参数进行训练和学习，同时用新产生的对替换经验池中之前存储的对，重复步骤4，直至满足多智能体协同决策的优化终止条件或最大迭代步数；步骤5：利用训练好的模型，在已知智能体当前状态s的情况下，得到智能体的当前动作a，并到达下一状态s'，重复步骤5，直到完成任务或达到环境的终止条件，得到智能体的状态序列；同时，依据环境设置的奖惩规则，完成智能体运动状态序列的态势评估。