[发明专利]一种基于SMDP和DRL的货车编队动态资源分配方法

说明书

本发明公开了一种基于SMDP和DRL的货车编队动态资源分配方法，具体的，先将控制货车编队的动态进出的过程建模为SMDP；然后通过规划算法得到的特定状态下的动作值作为深度强化学习DRL的样本来进行模型训练，最后通过训练后的模型对SMDP进行优化求解以得到一种逼近最优策略的货车编队资源分配方案。本发明提出的货车编队动态资源分配模型在降低请求处理延迟概率的同时，能够维持系统获得较高的回报。

技术领域

本发明属于货车编队策略的资源分配技术领域，尤其涉及一种基于SMDP和DRL的货车编队动态资源分配方法。

背景技术

车联网技术的日趋成熟使智能交通逐渐成为研究热点，车载智能交通(C-V2X)是实现自主驾驶和智能交通系统的重要技术，车辆编队的研究随着C-V2X和智能交通的研究深入而不断发展。交通运输是石油消耗量增加的主要原因，其中公路运输占据着高达70％的最高的石油消耗。货运需求量的不断增加使环境污染问题日益凸显，编队行驶为其提供了有效的解决方案以减少对环境的污染。有效的编队控制不仅能够能通过减少车辆间距来增加交通密度和道路通行率，还能通过降低空气阻力达到节油的目的，这种技术大大提高运输企业的效率同时节约运输成本。因此，研究高速公路场景下雨的货车编队资源分配优化问题是智能交通未来发展的具有价值方向。

早在20多年前，美国宾夕法尼亚州率先着手开始对重型货车的编队技术的研究，之后所有主要货车制造商都发展自己的编队技术，并且已经在美国，日本，瑞典，澳大利亚等国家进行部署或正在进行现场测试。随着货车编队技术的不断发展，研究其对高速公路整体的影响变得越来越重要。通常情况下，货车编队主要包括编队规划阶段和编队运行阶段两大部分。编队的规划阶段主要通过相关算法根据辆车的起讫点、时间窗和行驶路径等因素来优化动态编队规划。其中，编队规划的算法设计目标是通过优化编队过程使得在公路系统资源一定的情况下最小化货车编队油耗、最大化编队容量以及系统总回报，从而规划车辆与车辆加入编队时的时间、地点、行驶速度等的匹配，以达到最优货车编队策略。编队运行阶段是在考虑安全性、稳定性的基础上，对货车编队纵向运行轨迹控制技术进行研究。在完成根据货车需求的编队形成任务后，货车编队运行问题便转化为货车之间相互运动状态控制问题，编队控制的目的是使多辆货车组成车队行驶，并保持一定的距离和同样的速度行驶，这也是目前学者研究最为深入的一部分。

上述货车编队的资源分配问题可被建模为随机状态过程。在随机状态问题的解决方案中，马尔科夫决策过程(MDP)被广泛应用于许多领域中的状态系统的建模，例如：通信工程、金融工程、图像处理、医疗等领域。与MDP相比，半马尔可夫决策过程(SMDP)是描述随机环境中序列决策问题的基本模型，具有的停留时间分布更一般。因此，在许多实际问题中有更广泛的应用。通常，SMDP模型的是通过值迭代、策略迭代或者线性规划进行求解，但是这些方法没有充分考虑各种建模因素的内在关系。