[发明专利]基于多样性种群训练的临机协同方法、装置和计算机设备

权利要求书

1.一种基于多样性种群训练的临机协同方法，其特征在于，所述方法包括：

对交通道路中多车协同驾驶场景进行建模，将己方控制的驾驶车辆建模为智能体p，充当协同发起者，将同一道路的非己方车辆建模为智能体q，作为协同对象；智能体p构建由若干车辆策略组成的驾驶策略种群P，每个策略来自一个随机初始化的强化学习策略；

对所述驾驶策略种群P采用基于多样化策略种群的零样本协调训练方法进行训练，得到能使智能体p的驾驶行为和智能体q的驾驶行为进行临机协同的协作策略；所述基于多样化策略种群的零样本协调训练方法采用种群训练-评估的分层架构，底层初始化规模为的种群策略，基于强化学习算法实现行为决策，顶层使用经验博弈分析方法计算元博弈的回报矩阵，并选取期望基数作为种群多样性评估指标，用于指导底层训练生成与现有的策略差异性大并且多样的新策略，并将新策略添加到驾驶策略种群P中，继续进行迭代训练，当种群的规模到达最大多样性上界时停止迭代，以策略种群为训练集，学习一个鲁棒的智能体p协作策略用于最终的道路驾驶；

将所述智能体p的协作策略和所述智能体q的协作策略进行交叉验证，得到智能体p和智能体q的联合策略；

将所述联合策略应用于所述己方控制的驾驶车辆中，实现与同一道路的非己方车辆之间的临机协同；

其中，所述强化学习算法为Q-DPP方法或PPO算法；所述PPO算法包括：策略网络和价值网络；基于强化学习算法实现行为决策，包括：

基于Q-DPP方法采用价值更新公式更新当前个体策略在下一时刻的动作-价值函数；所述价值更新公式为：

；

其中，为t时刻驾驶策略种群P中当前个体策略在预定状态时执行动作的价值，代表更新率，代表t+1时刻奖励，为种群的多样性指标，为价值函数为最大值时的动作，为折扣因子，，为自适应的调节系数；

所述策略网络的损失函数为：

，

其中，为策略网络的损失函数，代表策略的价值函数，代表策略，代表将策略加入策略池；

所述价值网络的损失函数为：

，

其中，为价值网络的损失函数，代表预测价值。

2.根据权利要求1所述的方法，其特征在于，对所述驾驶策略种群P采用基于多样化策略种群的零样本协调训练方法进行训练，得到能使智能体p的驾驶行为和智能体q的驾驶行为进行临机协同的协作策略，包括：

对所述驾驶策略种群P中的所有策略进行交叉验证，采用经验博弈论分析方法计算策略组合在真实场景中的统计回报，并根据得到的经验回报构建元博弈的回报矩阵；

根据所述元博弈的回报矩阵，计算种群的多样性指标；

以最大化奖励为主任务、以最大化所述种群的多样性指标为辅助任务，采用强化学习的方式对所述驾驶策略种群P进行策略更新，得到新策略；

根据新策略的回报向量扩大博弈空间；

将所述新策略添加到所述驾驶策略种群P中对所述驾驶策略种群P进行更新，进入下一轮迭代，直到所述驾驶策略种群P的规模达到预设最大多样性上界，停止迭代，得到多样性驾驶策略种群；

在所述多样性驾驶策略种群中以策略种群为训练集，学习一个鲁棒的智能体p协作策略用于最终的道路驾驶。