[发明专利]用于使用神经网络架构来控制分配系统的方法、控制器和系统

摘要

描述了深度近似神经网络架构，通过需求响应应用的未见状态来外推数据以控制分配系统(如产品分配系统，能量分配系统(例如，热量或电力分配)是其一个示例)。本发明描述了主要以强化学习(RL)的形式的无模型控制技术，由此，控制器从与要控制的系统的交互中学习以控制产品分配，能量分配系统(例如，热量或电力分配)是产品分配的一个示例。

主权项

1.一种控制将被分配至需求响应系统中的以群集组合的受限群集元素的物理产品的需求的基于计算机的方法，所述方法包括以下步骤：使用强化学习(RL)形式的控制技术来确定要在下一控制步骤期间分配至所述受限群集元素的物理产品量，由此所述控制技术从与要控制的所述需求响应系统的交互中学习，所述方法包括以下特征提取步骤：向卷积神经网络输入所述需求响应系统中的至少一个群集的历史观察值或聚合在一个或多个2D网格结构中的历史观察值的衍生物，其中2D网格结构的一个维度表示多个时间步长，而另一个维度在多个时间步长捕捉群集状态，所述群集状态通过对于每一时间步长聚合至少一个群集中的群集元素的局部状态来表示，其中所述卷积神经网络执行2D卷积并学习从所述2D网格结构中的群集元素的局部时间和聚合的局部状态变化的组合中提取局部卷积特征，所述方法进一步包括：至少将所提取的局部卷积特征输入到第一神经网络，所述第一神经网络至少输出状态动作值函数的近似值，所述近似值为所述至少一个群集提供与所述至少一个群集处于一状态以及采取动作的每一个组合相关联的值，确定或计算控制动作，所述控制动作是采取动作与群集处于一状态的优选组合，或者从采取动作和群集处于一状态的优选组合中导出，以及根据所述控制动作来在下一控制步骤期间分配将由群集元素消耗或释放的物理产品的目标量。