[发明专利]基于强化学习的城轨交通储能系统能量管理方法

说明书

本发明涉及一种基于强化学习的城轨交通储能系统能量管理方法。该方法包括策略网络初始化和在线学习两部分；其中策略网络初始化部分利用城轨交通中已知的线路、车辆信息、事先编制的列车运行图，以及实际采集的历史车辆数据，建立多车运行场景模型；将多车运行场景模型、空载电压预测模型、直流供电潮流计算算法和近似动态规划算法结合，得到策略网络，作为在线学习模块的初值；在线学习模块采用无模型强化学习算法，通过超级电容智能代理试错的方法进行充放电阈值在线调整。本发明能够在城轨牵引供电网对超级电容储能系统控制策略进行在线学习，实现节能效果和稳压效果的优化。

技术领域

本发明涉及轨道交通的控制和节能技术，具体是一种基于强化学习的城轨交通储能系统能量管理方法。

背景技术

在城轨交通牵引供电系统中，牵引变电所通常采用二十四脉波二极管整流，将10kV/35kVAC交流电转换成750V/1500V直流电，给线路列车提供牵引能量。由于二极管整流具有单向性，当列车制动，制动能量传递到牵引网，若附近没有牵引列车吸收，将使牵引网电压迅速抬升，引起制动电阻的启动和再生失效的发生。为了充分回收列车再生能量、减少再生失效和牵引网电压波动，在牵引变电所安装超级电容储能系统，如图1所示，超级电容通过双向DC/DC连接到牵引网，与整流机组相并联。

城轨交通超级电容储能系统通常采用基于牵引网电压的控制策略，包括工作模式选择和电压电流双闭环控制两部分，分别如图2(a)、(b)所示。首先设置储能系统的充电阈值uch和放电阈值uds，当列车牵引，储能系统所在变电所网压低于放电阈值，超级电容放电，通过电压电流双闭环控制将牵引网电压稳定在放电阈值；当列车制动，牵引网电压高于充电阈值，超级电容进入充电模式，回收列车的再生制动能量，并维持网压的稳定。为了保证储能系统稳定、正常地工作，分别在工作模式选择和电压电流双闭环控制中设置超级电容SOC和电流限幅，使其维持在允许范围之内。

现有技术的一种方案如图3所示，为固定充放电阈值的控制策略。首先设置储能系统的充电阈值uch和放电阈值uds，当列车牵引，储能系统所在变电所网压低于放电阈值，超级电容放电，通过电压电流双闭环控制将牵引网电压稳定在放电阈值；当列车制动，牵引网电压高于充电阈值，超级电容进入充电模式，回收列车的再生制动能量，并维持网压的稳定。这种方案的缺陷是：轨系统的交通条件存在多变性：根据每日不同时间段的客流差异，发车间隔根据运行图进行调整，使得线路列车密度发生改变；单车功率、停站时间存在一定的随机性，因此多车整体工况与运行图存在一定偏差；随着城市用电负荷的变化，变电所空载电压发生缓慢的波动，影响变电所与储能系统之间的能量分配。而现有技术一采用固定阈值的控制策略，无法适应交通条件的变化、维持良好的节能稳压效果；无法在节能稳压效果欠佳时进行在线调整，改善控制效果。

现有技术的另一种方案如图4所示，基于特定的双车行驶过程，把储能系统控制优化问题看做一个经典变分问题，在约束条件中考虑等周约束，求得解析解。这种方案的缺陷是：城市轨道交通牵引供电系统是一个复杂的非线性时变网络，难以对其精确建模，求解储能系统的理论最优控制策略存在较大的困难，并且由于模型偏差难以获得最优控制效果。此外，现有技术二得到的优化结果仅仅针对特定的运行过程，不能适用于线路列车运行工况、发车间隔不断变化的实际情景。

发明内容

本发明所要解决的技术问题是，提供一种基于强化学习的城轨交通储能系统能量管理方法，能够在城轨牵引供电网复杂时变、难以精确建模的情况下，对超级电容储能系统控制策略进行在线学习，实现节能效果和稳压效果的优化；提出基于强化学习的储能系统能量管理方法，作为一种创新的节能稳压效果优化方法。