[发明专利]一种混合车队动态定价场景下实时控制策略控制方法

说明书

本发明提供一种混合车队动态定价场景下实时控制策略控制方法，包括：建立混合车队实时控制策略的模型；建立混合车队实时控制策略的优化问题；提出深度化学习框架求解混合车队实时控制策略；改进深度化学习框架求解混合车队实时控制策略。本发明能够对复杂的车队运营场景和人类驾驶车辆与自动驾驶车辆的相互影响进行描述；能够对车队运营的具体操作进行描述；将混合车队的实时控制策略问题表述为优化问题，指向清晰、目标明确；分析并改进了优化问题的求解难度，提高了策略获取效率；采用深度强化学习的框架，将订单的定价和对人类驾驶车辆的激励与车辆移动去向分开，减轻强化学习训练压力，提高混合车队的运营表现。

技术领域

本发明涉及自动驾驶领域按需移动技术领域，具体地，涉及一种混合车队动态定价场景下实时控制策略控制方法。

背景技术

随着世界各国的城市化不断深入，到目前为止，世界上55％的人口居住在城市地区，预计到2050年这一比例将达到68％。城市化导致城市内部出行需求的增加，因此也增加了这种出行产生的外生影响。同样的，城市化导致私家车数量的快速增长，目前的交通流动性趋势不仅带来了严重的空气污染，而且引起了更严重的交通拥堵，特别是在人口密集，道路基础设施和停车空间有限的城市中。目前的城市交通趋势即私家车盛行，被普遍认为是不可持续的。自动驾驶领域的技术进步和按需移动系统的平台为社会提供了一种新的移动模式：自动驾驶系统按需移动(Autonomous Mobility-on-Demand，简称AMoD)。AMoD系统由一组自动驾驶汽车组成，这些汽车可以搭载乘客并将他们运送到目的地。管理者通过将乘客分配给自动驾驶汽车来控制车队，并重新部署无客户需求的自动驾驶汽车来调整车队的车辆分布。

然而，尽管自动驾驶技术的相关研究已获得长足进展，完全由自动驾驶车辆替代人类驾驶仍有大量实际控制问题亟须解决。在无人驾驶替代人类驾驶过渡过程中，一个典型问题是MoD系统可能会运行自动驾驶车队(Avs)和人类驾驶车辆(Hvs)的混合车队，由于HVs可能会对自动驾驶汽车的协调做出战略响应，这将使全局优化具有挑战性。MoD服务在现有技术中已经存在，其应用包括Uber、滴滴等城市交通运营平台。

基于上述分析，为了促进按需移动服务系统向完全自动驾驶的稳定过渡，再考虑自动驾驶汽车和人类驾驶汽车之间的相互作用，设计计算可处理的实时控制策略来设计和协调MoD系统中的混合车队具有重要意义。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种混合车队动态定价场景下实时控制策略控制方法。

根据本发明的一个方面，提供一种混合车队动态定价场景下实时控制策略控制方法，包括：

建立混合车队实时控制策略的模型；

建立混合车队实时控制策略的优化问题；

基于建立的所述模型和所述优化问题，采用深度化学习框架求解混合车队实时控制策略,所述混合车队实时控制策略包括运营商定价，对人类驾驶车辆的补偿以及自动驾驶车辆的去向；

改进所述深度化学习框架求解混合车队实时控制策略，采用双层架构，用于提高所述控制策略性能与求解速度，上层求解运营商定价、人类驾驶车辆补偿，下层求解自动驾驶车辆的移动去向；

根据获得的所述实时控制策略调整所述混合车队的平衡。

优选地，所述建立混合车队实时控制策略的模型，包括：

建立混合车队运营城市模型：

设计混合车队运营的地点是一个城市，由运营商提供一组包含自动驾驶车辆和有人驾驶车辆组成的按需移动(Mobility on-Demand,MoD)服务系统，根据用户需求指派对应车辆完成运输任务；