[发明专利]基于多样性种群训练的临机协同方法、装置和计算机设备

说明书

本申请涉及一种基于多样性种群训练的临机协同方法、装置和计算机设备。该方法包括：对多车协同驾驶场景进行建模，将己方车辆建模为智能体p，充当协同发起者，将同一道路的非己方车辆建模为智能体q，作为协同对象；智能体p构建包括若干车辆策略的驾驶策略种群P；对种群P采用基于多样化策略种群的零样本协调训练方法，得到智能体p和q临机协同的协作策略，将两个智能体的协作策略进行交叉验证，得到两个智能体的联合策略，将联合策略用于交通道路多车协同驾驶场景中的无人驾驶车辆实现临机协同。该方法可提高交通道路多车协同驾驶场景中无人驾驶车辆的临机协同能力，从而降低碰撞概率、解决路权冲突，提升道路车辆的行驶效率。

技术领域

本申请涉及智慧交通领域的车辆临机协同技术领域，特别是涉及一种基于多样性种群训练的临机协同方法、装置和计算机设备。

背景技术

随着人工智能、5G通信、边缘计算等技术的快速发展，为解决我国汽车保有量逐渐增高、交通拥堵情况长期影响人们出行效率的问题，越来越多的管理部门、研究机构和企业将目光投向了基于网络通信的智慧交通技术发展。其中，车辆之间的有效协同是克服因车辆驾驶行为不协调同步引起的拥塞问题的关键技术之一，它有望明显提升交通流的通畅程度。

多智能体系统（Multi-Agent System，MAS）技术是解决车辆协同的关键，也是深度强化学习方法赋能智慧交通的主要方案。多智能体系统利用多个交互智能体组成一个计算化系统，适合解决探索空间巨大、问题要求实时求解和空间信息部分可知的复杂现实问题。

目前，国内外有关多智能体强化学习（Multi-Agent Reinforcement Learning，MARL）在智慧交通车辆协同领域已经取得一定研究成果，但是这些研究对交通场景的假设过于理想化、难以脱离实验室场景真正推广到现实应用。主要原因包括两点。第一，车辆智能协同技术依托于车载软件系统发挥作用，然而车辆协同对象包括来自不同厂商出产的车辆、相同厂商出产的不同车型、相同车型的不同版本，它们所采用的协同策略千差万别。此外还需与完全由人类驾驶员控制的车辆进行协同，这些因素导致诸多研究关于同路段车辆其协同技术相同的隐性假设失效。因此，车辆智能协同技术必须能够应对丰富多样的协同对象带来的挑战。第二，现有MARL技术严重依赖训练阶段的数据，对于训练阶段未协同过的车辆难以适应。然而，现实中很难为其准备大量丰富的协同对象样本以供训练，这导致这些技术对预设场景外的临机情况适应性差。综上所述，发展针对多样协同对象的车辆临机协同技术在智慧交通领域具有很强的现实意义。

发明内容

基于此，有必要针对上述技术问题，提供一种基于多样性种群训练的临机协同方法、装置和计算机设备，该方法可以提高交通道路中多车协同驾驶场景中无人驾驶车辆之间的临机协同能力，从而降低碰撞概率、解决路权冲突以及提升道路车辆的行驶效率。

一种基于多样性种群训练的临机协同方法，所述方法包括：

对交通道路中多车协同驾驶场景进行建模，将己方控制的驾驶车辆建模为智能体 p，充当协同发起者，将同一道路的非己方车辆建模为智能体 q，作为协同对象；智能体 p构建由若干车辆策略组成的驾驶策略种群 P，每个策略来自一个随机初始化的强化学习策略。