[发明专利]一种基于强化学习的暖通空调个性化调控方法

说明书

本发明公开了一种基于强化学习的暖通空调个性化调控方法，其核心步骤为：1)构建基于逻辑回归的个性化热舒适模型，预测用户的个性化热舒适水平，再根据预测平均投票模型逆推得到个性化热舒适温度区间，建立暖通空调的室温舒适性约束；2)获取电网未来24小时的分时电价数据，并生成电价趋势信号；3)建立基于DQN的暖通空调个性化调控的强化学习模型；4)实际暖通空调根据强化学习模型输出的控制动作运行。本发明提出的方法能自动适应用户的个性化热舒适差异，以及调度过程中环境存在的不确定性，实现暖通空调个性化调控的自动化。

技术领域

本发明涉及一种空调温度调控方法，具体涉及一种基于强化学习的暖通空调个性化调控方法，属于智能空调调控技术领域。

背景技术

个性化热舒适性是指个体对周围热环境的主观评价，而不是大量人群的平均评价。根据一项热舒适度调查，高达61％的用户对室内温度感到不满，这主要是因为即使在同一环境条件下，不同个体的热感觉存在较大差异。有研究表明，诸如年龄、性别、着装、健康状况等因素都会影响人的热舒适性，因此个性化热舒适性差异大的现象也十分常见。

双碳目标的推行以及石油、煤炭等不可再生资源的逐渐枯竭，要求全社会节能减排。暖通空调系统是目前应用最广泛的保持建筑热舒适性的设备，也是重要的需求响应资源，这就要求暖通空调系统具有响应用户个性化热舒适需求调整室内气温的能力，进而达到降低电费的目的。暖通空调安装于室内，用户对打搅敏感，不宜通过手动调节的方式实现个性化调控，因此要求暖通空调自动适应电价、环境气温、用户个性化需求等各种不确定性，实现暖通空调调控自动化。

当前暖通空调常用的个性化调控方式是“在满足用户个性化舒适性的同时降低电费支出”，但在预测用户个性化热舒适需求的时候没有考虑模型计算的复杂度和数据收集的高成本，这在一定程度上增加了个性化热舒适需求预测的难度。

目前，已经有学者对用户个性化热舒适需求预测方法进行了大量研究，这些研究大致分为两类。第一类是基于个人热舒适模型的预测方法。这类方法主要是通过建立环境参数与用户真实热反馈之间的关系，来预测个人的热舒适性。这类方法可以灵活测试不同的建模方法和潜在变量，以更好地理解用户的特定需求，但模型的训练需要大量的实测数据，增加了数据获取的成本。第二类是基于机器学习的预测方法。这类方法利用具有学习能力的机器学习网络对数据进行分析和学习，并对未知的情况做出预测和判断。这类方法具有较强的学习能力和自适应能力，预测精度高，分类效率高，但样本采集代价高的问题仍旧困扰着机器学习方法在暖通空调个性化调控中的广泛推广。

研究个性化调控的学者，针对暖通空调的个性化调控进行了大量研究，这些研究大致分为三类。第一类是基于模型的调控方法。这类方法需要建立环境因素及各种影响因素与建筑物之间的热动力学模型，设好相应的约束条件，把调控过程等效为数学问题进行求解。这类方法可以求得最优解，但具有较强的针对性，不同建筑环境需设计不同的模型，并且各种不确定因素会导致难以精确建模。第二类是基于规则的调控方法。这类方法主要根据未来一段时间的电价、环境温度和用户需求等信息，根据一系列规则来确定暖通空调的设定温度。这类方法简单高效，运行成本低，但难以照顾到用户的个性化热舒适需求，难以得到全局最优解。第三类是基于强化学习的调控方法。这类方法主要通过具有学习能力的强化学习网络来进行个性化调控，该网络通过不断地试错和学习来寻求策略进步，网络收敛后，用于暖通空调的个性化调控。这类方法具有较强的学习能力和泛化能力，能自动适应各种不确定性。

综上，本专利首先采用热舒适模型与机器学习相结合的方法预测用户的个性化热舒适需求，然后将个性化热舒适需求与强化学习结合，实现暖通空调的个性化调控，该方法能够应对暖通空调个性化调控过程中电价、环境气温、太阳辐射等因素的不确定性，自动适应用户热舒适性的个性化差异，实现暖通空调的个性化调控优化。

发明内容