[发明专利]一种基于深度强化学习的热风炉自动烧炉方法及系统

说明书

本发明公开了一种基于深度强化学习的热风炉自动烧炉方法及系统，包括：获取热风炉历史烧炉数据；根据历史烧炉数据对不同燃烧阶段的热风炉深度强化模型进行训练；所述训练包括：根据前一时刻热风炉状态和烧炉动作，预测当前热风炉状态下烧炉动作的动作范围以及执行烧炉动作后下一时刻的热风炉反馈状态；根据热风炉反馈状态得到烧炉动作奖惩值，选择当前热风炉状态下的最优烧炉动作；迭代计算当前燃烧阶段下每个时刻的最优烧炉动作；根据不同燃烧阶段的热风炉深度强化模型对热风炉进行自动烧炉控制。采用深度强化学习离线学习的方法实现热风炉的自动烧炉，控制精度高，泛化性好，抗干扰能力强。

技术领域

本发明涉及冶金行业高炉炼铁技术领域，特别是涉及一种基于深度强化学习的热风炉自动烧炉方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

钢铁工业生产生铁的主要设备为高炉，其原理是将热风炉产生的高温热风鼓入高炉燃烧焦炭，将铁矿石还原为铁水。炼铁生产过程中消耗的大约四分之一的热量是热风炉供给高炉的热风提供的，高炉热风炉的作用是在安全平稳的前提下为高炉提供尽可能高的风温，进而降低高炉焦炭用量，实现节能降耗。

为了提高高炉热风炉送风温度，需要提高热风炉的拱顶温度和蓄热量，实现热风炉助燃空气及煤气的合理燃烧，从而充分利用煤气能量，实现最低能源消耗条件下的最大蓄热量，保证送风期间冷风与热风炉内的蓄热耐火砖之间的最大程度热交换，实现高温度风量的送风。因此，热风炉燃烧控制效果的好坏直接影响着热风炉的送风温度及高炉炼铁的整体能耗水平。

目前关于热风炉自动烧炉的方法涉及多种，发明人认为，现有方法虽然在一定程度上能够解决热风炉自动烧炉的控制问题，但是又分别存在较多的局限性，具体为：

(1)数学模型方法。该方法的优点是控制合理、准确、效率高，缺点是需要测量的参数较多，成本高，尤其在中小型企业中很难实现，因此该方法的使用受到限制。

(2)模糊控制方法。该方法的优点是能够较好控制热风炉拱顶温度，缺点是空燃比的调节方向需要摸索和试探，因而造成调节时间长，效率低。

(3)模糊神经网络控制方法。该方法属于混合控制方式，采用模糊模型将一些参数的经验知识转换到神经网络中，修正物理模型的参数；该方法优点是自学习能力强，缺点是控制系统的输出与输入关系不容易被接受，抗干扰能力差。

(4)专家系统控制方法。该方法控制精度高，实效性好，且相对较为灵活，可靠性高；但这种方法存在“知识获取瓶颈”难题，较难归纳和提取控制规则。

发明内容

为了解决上述问题，本发明提出了一种基于深度强化学习的热风炉自动烧炉方法及系统，获取热风炉历史烧炉数据，并对其进行规则化处理，利用深度强化学习对热风炉不同燃烧阶段进行离线训练与学习生成各阶段模型，热风炉二级系统通过各阶段模型实现对热风炉的自动烧炉控制。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于深度强化学习的热风炉自动烧炉方法，包括：

获取热风炉历史烧炉数据；

根据历史烧炉数据对不同燃烧阶段的热风炉深度强化模型进行训练；

所述训练包括：根据前一时刻热风炉状态和烧炉动作，预测当前热风炉状态下烧炉动作的动作范围以及执行烧炉动作后下一时刻的热风炉反馈状态；根据热风炉反馈状态得到烧炉动作奖惩值，并以此选择当前热风炉状态下的最优烧炉动作；迭代计算当前燃烧阶段下每个时刻的最优烧炉动作；

根据训练后的不同燃烧阶段的热风炉深度强化模型对热风炉进行自动烧炉控制。

第二方面，本发明提供一种基于深度强化学习的热风炉自动烧炉系统，包括：