[发明专利]一种基于深度强化学习的建筑能耗预测方法及系统

权利要求书

1.一种基于深度强化学习的建筑能耗预测方法，其特征在于，包括：

采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据；

采集得到的数据划分为训练样本集和预测样本集，对训练样本集和预测样本集数据进行预处理；

将训练样本集数据输入到深度强化学习模型中进行训练，直到得到最优状态动作值函数后停止，并保存训练后的深度强化学习模型；其中，将训练样本集数据输入到深度强化学习模型中进行训练的过程具体为：

输入数据进入卷积计算层进行卷积计算；池化层采用Max pooling方法对输入数据进行压缩；输入数据经过卷积神经网络与全连接神经网络后输出状态动作值；利用输出的状态动作值计算输入数据的目标输出；利用当前输出的状态动作值与目标输出得到均方误差函数；用均方误差函数对权值求导，得到权值更新的梯度；用梯度下降法更新权值；

深度强化学习模型采用训练样本的输入向量为x_i，每一个输入向量中包含n个元素，输入向量经过卷积神经网络与全连接神经网络运算后，输出状态动作值，通过状态动作值获取迭代后的损失函数；

将预测样本输入到训练后的深度强化学习模型，进行建筑能耗预测；

将进行过预处理的待预测日的前一天的建筑能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据按类别分组作为输入向量x_i，将进行过预处理的待预测日的建筑能耗数据添加数值标签后作为a_i；利用最优状态动作值函数计算出输入向量x_i的期望最大回报值，从而得到最优策略；

将强化学习中的Q学习算法与深度学习中的卷积神经网络相结合，分析建筑能耗的影响因素，将建筑能耗的影响因素与建筑能耗历史数据同时作为输入数据，提高建筑能耗预测的准确度，利用卷积神经网络结合Q学习算法实现的深度强化学习来减少数据量，降低数据的存储要求，提高数据的使用效率，加快数据处理的效率。

2.如权利要求1所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，所述最优状态动作值函数具体为：

Q^*(x_i,a_i；|ω_i)＝max_πE[R_i|x_i＝x,a_i＝a,ω_i＝ω,π]

其中，R_i为输入向量x_i的未来回报，I是输入样本总量，γ为折扣系数，用来权衡未来奖赏对累计奖赏的影响；π是输入向量x_i与数值标签a_i的映射函数；ω_i为权值，x为输入样本；a为添加数值标签后的待预测日的建筑能耗数据；ω为权值；i'为R_i中的一个参数，代表R_i中的连加运算对i至I起作用，E为数学期望。

3.如权利要求1所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，利用输出的状态动作值计算输入数据的目标输出，具体为：

其中，x_i为输入向量数据，R_i为输入向量数据x_i的未来回报，γ为折扣系数，ω^-随着网络训练的过程不断更新，E为数学期望；Q_i'为输出的状态动作值；x为输入样本；a为添加数值标签后的待预测日的建筑能耗数据；x_i'与a_i'为区别于x_i与a_i的值。

4.如权利要求3所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，利用当前输出的状态动作值与目标输出得到均方误差函数，具体为：

其中，为数学期望。

5.如权利要求4所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，用均方误差函数对权值求导，得到权值更新的梯度，具体为：

其中，代表对ω_i求导。