[发明专利]基于Q学习的智能楼宇温度控制方法

摘要

本发明公开了一种基于Q学习的智能楼宇温度控制方法，包括：相关参数初始化；开启全局迭代，初始化评价网络权值；开启局部迭代，利用Q学习算法训练评价网络，修正网络权值，其中评价网络用来近似最优性能指标函数，并利用该评价网络权值评测当前温度控制系统的性能，通过执行流程选择最优控制策略，最小化一次全局迭代的总成本；判断当前局部迭代是否完成，若否，则返回局部迭代，否则更新迭代性能指标函数和控制律，以获得最优解；判断当前全局迭代是否满足收敛精度，若否，则返回全局迭代，否则根据最优性能指标函数获得最优控制策略，并计算总成本。由此，本发明可以不断地学习、调整和适应外界环境在未来的不确定的变化以提高系统的性能。

主权项

1.一种基于Q学习的智能楼宇温度控制方法，其特征在于，所述方法包括：S1：初始化参数；S2：进行全局迭代，根据迭代控制序列更新迭代性能指标函数，以获得最优性能指标函数；S3：进行局部迭代，利用Q学习算法训练评价网络，修正所述评价网络的权值，并利用所述最优性能指标函数得到最优控制策略；在所述步骤S3中，所述评价网络的输入数据包括归一化的房间空气温度与目标温度的差值x(t)和t时刻归一化的空调输出热量值u(t)；所述评价网络的输出数据包括：性能指标函数Q(t)；根据Bellman方程，利用所述评价网络下一时刻的输出Q(t+1)与效用函数U(t)，并通过以下公式计算当前时刻的输出数据Q(t)：其中，x(t)为归一化的所述房间空气温度与目标温度的差值；效用函数U(t)表示t时刻温度变化功率和空调功率的效用总和；所述效用函数U(t)的计算公式为：U(t)＝α[x(t)]²+β[u(t)]²其中，α与β为常数；u(t)为t时刻归一化的空调输出热量值，加热时为正值，降温时为负值；S4：判断当前局部迭代是否完成，如果尚未完成，则返回局部迭代步骤，否则更新迭代性能指标函数和控制律，以获得最优性能指标函数；S5：判断当前全局迭代是否满足收敛精度，如果满足收敛精度，根据最优性能指标函数获得最优控制策略，并计算总成本。