[发明专利]一种基于深度强化学习的高炉布料方法及系统

权利要求书

1.一种基于深度强化学习的高炉布料方法，其特征在于，包括：

获取高炉的实际料面状态数据；

将所述实际料面状态数据输入到预设的高炉布料矩阵优化深度强化学习模型中，得到优化的布料矩阵；

通过优化的布料矩阵对高炉的布料系统进行自主控制；

其中，所述高炉布料矩阵优化深度强化学习模型训练时，考虑实际料面状态、布料矩阵、实施布料矩阵后获得的奖励或惩罚以及进行布料后对实际料面产生的影响；将布料系统的瞬时奖励函数设置为高炉实际料面与理想料面的差值；

高炉布料矩阵优化深度强化学习模型训练内容包括：沿损失函数减小的梯度方向调整深度网络的权值；所述高炉布料矩阵优化深度强化学习模型包括目标网络模块和预测网络模块；目标网络和预测网络沿损失函数梯度下降的方向交替更新权值；预测网络模块估计高炉料面的状态，并输出高炉布料系统在该状态下采用不同布料矩阵时的价值，根据估计出的高炉料面状态对应的动作价值进行布料矩阵动作的选择，并将选择到的最优布料矩阵动作反馈到目标网络模块中，目标网络模块负责评价功能，对预测网络估计的状态值、动作值、状态以及动作进行评价。

2.如权利要求1所述的一种基于深度强化学习的高炉布料方法，其特征在于，高炉布料矩阵优化深度强化学习模型训练主要内容包括：

获取高炉布料历史数据，包括实际料面状态、布料矩阵、实施布料矩阵后获得的奖励或惩罚以及进行布料后对实际料面产生的影响；

从所述历史数据中批量选择一段数据；根据当前时刻的实际料面状态，制定当前时刻的布料策略设置布料矩阵；根据高炉料面实际反馈得到布料的实际奖励；并估计出下一时刻最优的料面状态和采取的最优的布料矩阵动作；

沿损失函数减小的梯度方向调整深度网络的权值；迭代训练直至深度网络达到最优。

3.如权利要求2所述的一种基于深度强化学习的高炉布料方法，其特征在于，对获取的高炉布料历史数据进行规则化处理；规则化数据格式为五元组，包括，前时刻高炉料面状态、当前时刻的高炉布料的动作、当前动作获得的奖励值、该奖励值按设定好的奖励规则计算以及执行动作后下一时刻的高炉料面状态。

4.如权利要求2所述的一种基于深度强化学习的高炉布料方法，其特征在于，所述高炉布料矩阵优化深度强化学习模型包括目标网络模块和预测网络模块，目标网络和预测网络沿损失函数梯度下降的方向交替更新权值，直至满足迭代条件生成最优布料矩阵优化模型。

5.如权利要求1所述的一种基于深度强化学习的高炉布料方法，其特征在于，获取高炉的实际料面状态数据是连续的，获取每一时刻的实际料面的状态。

6.如权利要求1所述的一种基于深度强化学习的高炉布料方法，其特征在于，所述高炉布料矩阵优化深度强化学习模型的输入状态值为连续获取的高炉实际的料面状态，输出的是布料矩阵，包括布料的角度和布料的圈数。

7.如权利要求1所述的一种基于深度强化学习的高炉布料方法，其特征在于，对训练好的高炉布料矩阵优化深度强化学习模型进行封装集成为独立的系统，并与布料和检测设备通信，实现布料的自主控制。