[发明专利]一种基于分层深度强化学习的电动汽车充电引导策略方法

说明书

本发明公开了一种基于分层深度强化学习的电动汽车充电引导策略方法，包括步骤：S1、构建考虑多种不确定因素的电动汽车充电引导两层随机优化模型；S2、将该两层随机优化模型转换为未知转移概率的马尔科夫决策过程；S3、在给定马尔科夫决策过程基础上提出一种改进的分层深度强化学习算法，并对其进行训练，得到最终的电动汽车充电引导策略。该方法使用了一种改进的分层深度强化学习算法，包含两层强化学习，上层强化学习用于对电动汽车充电引导目的地的优化，下层强化学习用于对电动汽车充电引导路径的优化。该方法能够在线实时对电动汽车进行充电引导，能够有效降低电动汽车充电旅途费用和充电费用，并且当环境改变后具有快速的自适应性能。

技术领域

本发明涉及电力-交通融合网优化的技术领域，尤其是指一种基于分层深度强化学习的电动汽车充电引导策略方法。

背景技术

电动汽车充电引导根据不同分类依据有不同的分法。根据引导方式可以分为两类：一是基于充电电价的间接充电引导；二是基于引导策略的直接充电引导。根据充电引导优化算法可以分为三类：一是基于智能进化算法的电动汽车充电引导方法；二是基于数学优化算法的电动汽车充电引导方法；三是基于强化学习算法的电动汽车充电引导方法。基于智能进化算法的电动汽车充电引导方法其优势在于可以长时间尺度上的充电引导策略和复杂的非线性模型，但是由于智能进化算法优化速度较慢，无法用于电动汽车的在线实时充电引导；基于数学优化算法的电动汽车充电引导尽管计算速度较块，但需要对交通流量-速度等非线性模型进行近似，并且需要进行大量的简化，因此存在一定的准确度问题。此外，数学优化算法在处理不确定优化问题时存在一定的保守度。基于强化学习的电动汽车充电引导方法其借助深度强化学习强大的非线性处理能力和免模型的特性，能够有效考虑多种随机不确定性变量环境下的电动汽车充电引导问题，并且其采用离线训练-在线应用方式，能够实时地对电动汽车制定充电引导策略，特别是当环境变化后仅需要少数的迭代即可实现较高质量的充电引导策略的输出。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于分层深度强化学习的电动汽车充电引导策略方法，该方法使用了一种改进的分层深度强化学习算法，包含两层强化学习，上层强化学习用于对电动汽车充电引导的目的地的优化，在此基础上，下层强化学习用于对电动汽车充电引导路径的优化。相比于智能进化算法、传统的数学优化算和强化学习算法，本专利提出的方法能够更加有效地处理多维随机变量环境下的电动汽车充电引导问题，能够更加快速、准确地得到充电引导策略，从而可以有效降低电动汽车充电旅途成本和充电费用。

为实现上述目的，本发明所提供的技术方案为：一种基于分层深度强化学习的电动汽车充电引导策略方法，包括以下步骤：

S1、构建考虑多种不确定因素的电动汽车充电引导两层随机优化模型；

S2、将该两层随机优化模型转换为未知转移概率的马尔科夫决策过程；

S3、在给定马尔科夫决策过程基础上提出一种改进的分层深度强化学习算法，并对其进行训练，得到最终的电动汽车充电引导策略；其中，改进的分层深度强化学习算法包含两层强化学习，上层强化学习用于对电动汽车充电引导目的地的优化，在此基础上，下层强化学习用于对电动汽车充电引导路径的优化。

进一步，所述步骤S1包括以下步骤：

S101、建立考虑多种不确定因素的电动汽车充电引导随机优化模型

电动汽车充电引导策略目标为最小化电动汽车充电总费用，该费用包括前往充电站的旅途费用和充电站中充电费用两部分，表达如下数学模型：