[发明专利]一种基于深度强化学习的高炉布料方法及系统

说明书

本公开提供了一种基于深度强化学习的高炉布料方法，包括：获取高炉的实际料面状态数据；将所述实际料面状态数据输入到预设的高炉布料矩阵优化深度强化学习模型中，得到优化的布料矩阵；通过优化的布料矩阵对高炉的布料系统进行自主控制；其中，所述高炉布料矩阵优化深度强化学习模型训练时，考虑实际料面状态、布料矩阵、实施布料矩阵后获得的奖励或惩罚以及进行布料后对实际料面产生的影响；本公开基于深度强化学习的方法，实现布料矩阵的优化，具备控制精度高、泛化性好、抗干扰能力强、灵活性高和寻优效率高等优点。

技术领域

本公开属于冶金技术领域，尤其涉及一种基于深度强化学习的高炉布料方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

高炉炼铁过程中存在着大量复杂的物理化学反应；高炉内部有两种物料反应；矿石、焦炭等固体原料采用无钟顶加料系统加到炉膛内，利用一些辅助燃料，如氧气和煤粉，通过底部风口被装备到炉底，用一氧化碳热化学还原氧化铁矿石是高炉内部的主要原理；连续稳定的热环境是生产铁水的先决条件，炼铁过程的运行机理往往具有非线性、时滞大、噪声严重和参数分布等特点；因此，控制方法，特别是炉料的控制，主要是基于经验实现的；自动控制高炉炼铁工艺一直是学术界和工业界研究的热点。

炉料布料是高炉炼铁过程中非常重要的一环，最常用的炉料方式是无钟布料；矿石和焦炭进入平行或串联料斗后，通过旋转溜槽逐层布料；炉料面形状直接影响炼铁过程中的气流分布；一般情况下，V型料面配以合适的平台是有益的，能够满足气流量发展的标准：使中心气流量活跃，使边缘气流量抑制。炉料面的形状与高炉的运行状况密切相关，然而，关于如何根据实际料面情况设置布料矩阵布出最优料面形状的研究还很少；布料系统输出的布料矩阵会影响炉料分布、配料周期、配料时间序列和铁的生产动态；此外，温度分布和气流分布还可以通过炉料分布输出特性进行调节，进而影响整个炉膛运行状态；实践和经验告诉我们，优化布料矩阵对于炉体稳定生产、平稳运行、降低事故率和燃料消耗具有重要意义。

发明内容

本公开为了解决上述问题，提出了一种基于深度强化学习的高炉布料方法及系统，获取高炉炉料布料的历史数据，并将数据按照一定的规则存储在存储器中，利用历史数据和深度强化学习对高炉布料矩阵模型进行离线训练学习，高炉布料系统利用已经训练好的模型通过观察高炉的实际环境对高炉布料实现自主控制。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本公开提供了一种基于深度强化学习的高炉布料方法，包括：

获取高炉的实际料面状态数据；

将所述实际料面状态数据输入到预设的高炉布料矩阵优化深度强化学习模型中，得到优化的布料矩阵；

通过优化的布料矩阵对高炉的布料系统进行自主控制；

其中，所述高炉布料矩阵优化深度强化学习模型训练时，考虑实际料面状态、布料矩阵、实施布料矩阵后获得的奖励或惩罚以及进行布料后对实际料面产生的影响。

进一步的，高炉布料矩阵优化深度强化学习模型训练主要内容包括：

获取高炉布料历史数据，包括实际料面状态、布料矩阵、实施布料矩阵后获得的奖励或惩罚以及进行布料后对实际料面产生的影响；

从所述历史数据中批量选择一段数据；根据当前时刻的实际料面状态，制定当前时刻的布料策略设置布料矩阵；根据高炉料面实际反馈得到布料的实际奖励；并估计出下一时刻最优的料面状态和采取的最优的布料矩阵动作；

沿损失函数减小的梯度方向调整深度网络的权值；迭代训练直至深度网络达到最优。