[发明专利]一种智能楼宇综合供暖设备的调控方法

权利要求书

1.一种智能楼宇综合供暖设备的调控方法，其特征在于，包括以下步骤：

构建供暖设备调控的室内温度的状态集合；

根据供暖设备功率的集合，构建供暖设备调控的动作集合；

根据能源价格和目标温度，构建供暖设备调控的立即回报函数；

根据Q-Learning算法训练动作值函数，直至得到供暖热备的最优调控策略。

2.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，所述室内温度的状态集合为：

S＝{T_min,T_min+ΔT,...,T_min+(N-1)*ΔT}；

其中，T_min为室内温度离散后的最小值，ΔT为两个相邻温度状态间的差值，N为室内温度离散后的状态数，T_max为室内温度离散后的最大值，T_max＝T_min+(N-1)*ΔT。

3.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，每个供暖设备功率的集合进一步包括：

或

其中，A_p,i,e表示第i台电炉设备分配电功率的动作集合，表示第i台电炉分配的电功率的最小值，ΔP_i^e表示第i台电炉分配的两个相邻电功率间的差值；A_p,j,h表示第j台直供暖设备分配热功率的动作集合，表示第j台直供暖设备分配的热功率的最小值，表示第j台直供暖设备分配的两个相邻热功率间的差值。

4.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，所述构建供暖设备调控的动作集合进一步包括：

A＝A_p,1,e*A_p,i,e*...*A_p,n,e*A_p,1,h*A_p,j,h*...*A_p,m,h，

其中，A_p,1,e表示第1台电炉设备分配电功率的动作集合，A_p,i,e表示第i台电炉设备分配电功率的动作集合，A_p,n,e表示第n台电炉设备分配电功率的动作集合，A_p,1,h表示第1台直供暖设备分配热功率的动作集合，A_p,j,h表示第j台直供暖设备分配热功率的动作集合，A_p,m,h表示第m台直供暖设备分配热功率的动作集合。

5.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，构建供暖设备调控的立即回报函数进一步包括：

其中，T为室内温度，T′为目标温度，P_i^e为第i台电炉分配的电功率，为第j台直供暖设备分配的热功率，q_e为单位电价，q_h为单位热价，λ为多目标平衡系数。

6.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，基于Q-Learning算法计算最优调控策略进一步包括，动作值函数的更新规则可以为：

Q(S_t,A_t)←Q(S_t,A_t)+α[R_t+1+γmax_aQ(S_t+1,a)-Q(S_t,A_t)]；

其中，α为学习率，γ为折现因子，t为当前的迭代次数，A_t为第t次迭代时的动作，S_t为第t次迭代时的状态，S_t+1为第(t+1)次迭代时的状态，a为第(t+1)次迭代时的动作。

7.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，构建供暖设备调控的室内温度的状态集合之前还包括，输入能源价格和调控的目标温度。