[发明专利]用于使用神经网络架构来控制分配系统的方法、控制器和系统

说明书

描述了深度近似神经网络架构，通过需求响应应用的未见状态来外推数据以控制分配系统(如产品分配系统，能量分配系统(例如，热量或电力分配)是其一个示例)。本发明描述了主要以强化学习(RL)的形式的无模型控制技术，由此，控制器从与要控制的系统的交互中学习以控制产品分配，能量分配系统(例如，热量或电力分配)是产品分配的一个示例。

本发明涉及用于控制分配系统(如能量分配系统，例如热量或电力分配)的方法、控制器和系统以及当在处理引擎上执行时能够执行此类方法中的任一种方法的软件。

背景技术

基于模型预测控制[1]或完全无模型的强化学习[2]，已知控制能量受限灵活性(ECF)源(诸如电动车辆，热泵或HVAC系统)的需求灵活性。

当在需求响应设置中应用时，这种控制技术的期望结果是在下一个控制步骤期间由任意数量的设备消耗建议功率和/或能量。

需要考虑不同的目标，包括网络约束(诸如不使系统过载)，至少满足最低能量需求以及尽管价格随时间变化但仍以经济的方式操作，例如当能源从能源竞拍获得时。

当考虑基于模型的控制时，需要构建要控制的源的灵活性的模型，即设备能够在多大程度上修改其能量需求或在其需求方面是灵活的。这可能是一项具有挑战性的工程任务，并且取决于基于模型的控制器的经济价值，这样的模型在经济上可能是有趣的或者不是视情况而定的。

基于模型的技术的典型优点是可以将领域知识直接纳入模型中。主要缺点是模型需要是准确的、被调协和维护。后两个方面是为什么MPC优选应用于其中控制器由人类专家持续监控的非常特定的领域，例如在化工行业中。

这种实用性可以通过无模型控制[2]至少部分地减轻。然而，以MDP(马尔科夫决策过程)或部分可观察马尔可夫决策过程(POMDP)的形式来解决问题是一种标准的工作方式。这允许使用诸如Q函数的概念来捕捉控制动作的价值。然而，这里的主要问题在于MDP因维度和可伸缩性而受罚，即对于大状态维度(例如5/105个可能状态)，大多数常规技术变得不切实际，因为每个状态的值必须被理解，并且这种穷举技术显然随着状态维度呈指数形态地缩放。

系统或设备级别的传感器数据现在可用或者可以在将来的系统中提供，该传感器数据给出系统状态的指示，例如，房间温度可以通过建筑物或热水箱中的一个传感器测量，可以测量一层或若干层处的水温。该信息可以被看作是部分状态信息，例如通过定义，像建筑物温度那样的温度或者壁式家具的温度不需要直接测量，但可以是表示这种动态的“特征”，其可以基于历史信息来标识。这通过添加历史状态信息来扩展可用状态信息。

对于较大系统，由不同传感器测量的特征之间的动态被耦合到状态空间。该信息需要包括所有的状态信息，例如，在具有不同温度传感器或“传感器群”的热水箱中，动态被群集并因此控制变成为群集控制，例如，当使用基于能量竞拍的分派机制来控制大型ECF群集时。

例如，如果热水槽或建筑物具有10个传感器并且在最后10个时间步长(例如15分钟分辨率)下的测量值被纳入状态矩阵表示，则这导致100维状态空间。

再次参考群集控制，如果群集中的不同ECF针对某个状态被聚合，则可以使用聚合步骤来降低维度，举例而言，具有在0.2和0.3之间的SoC(电荷状态)的所有电池被组合在一起，例如可以选择一种分仓方法，并且0.2和0.3之间的SOC的所有电池都可以放置在一个仓中。

参考文献

[1]J.Cigler、D.Gyalistras、J.Sirok y、V.Tiet、L.Ferkl的“超越理论：在建筑物中实施模型预测控制的挑战(Beyond theory:the`challenge of implementing modelpredictive control in buildings)”，第11届欧洲暖通空调学会世界大会会刊，气候变迁行动总署，2013年。