[发明专利]基于强化学习的多层工厂车间调度方法

权利要求书

1.基于强化学习的多层工厂车间调度方法，其特征在于，所述方法包括：

S1：建立多层工厂车间物流网络模型；

S2：收集数据，采用边缘计算算法对数据进行实时预处理和分析，再采用联邦学习技术对分散在不同设备上的数据进行分布式学习；

S3：设计强化学习模型，包括对S，A，R，T部分的建模，其中，S表示状态空间，A表示动作空间，R表示奖励函数，T表示转移函数；

S4：实时调度执行，使用模型预测控制技术，生成针对不确定性和动态环境的鲁棒调度策略，然后采用事件驱动调度方法，提高调度系统的适应性；

S5：采用多层工厂在线强化学习方法，强化学习模型在生产过程中实时更新参数，然后采用迁移学习技术，同时利用其他工厂车间的经验数据，提升强化学习模型的学习效果和泛化能力；

S6：采用贝叶斯优化算法，自动调整强化学习模型的超参数，然后采用进化算法，通过模拟自然选择过程，不断优化物流网络模型。

2.根据权利要求1所述的基于强化学习的多层工厂车间调度方法，其特征在于，所述S1，具体包括：采用层次化建模方法，将多层工厂的物流网络拆分为不同的层级，并使用图神经网络对物流网络进行表示学习，捕获多层工厂车间中的复杂物流关系；

其中，所述层次化建模方法包括：将物流网络划分为楼层层级和电梯层级；在所述楼层层级中，建立楼层子网络模型，包括生产线、仓库和物流路径；在电梯层级中，建立电梯子网络模型，包括电梯和楼层之间的物流路径；

所述图神经网络对物流网络进行表示学习，具体包括：

S1.1、初始化一个有向图G(V,E)，其中V是节点集合，E是边集合，节点表示生产线、仓库或电梯，边表示物流路径，节点特征包括生产速率、库存量和电梯运行速度，边特征包括物流路径长度和最大搬运能力；

S1.2、使用以下GNN架构进行表示学习：

输入层：将所述节点特征和所述边特征输入GNN模型；

隐藏层：包含多个卷积层，每一层利用相邻节点和边的信息更新节点表示，采用ReLU激活函数进行非线性变换；

输出层：输出节点和边的特征表示，用于后续的强化学习模型；

S1.3、使用实际物流网络数据作为训练集，训练GNN模型以学习节点和边的表示；

S1.4、利用训练好的GNN模型，提取节点和边的特征表示，用于后续的强化学习模型。

3.根据权利要求1所述的基于强化学习的多层工厂车间调度方法，其特征在于，所述S2中，所述采用边缘计算算法对数据进行实时预处理和分析包括：

S2.1、将轻量级神经网络模型部署在边缘计算节点上；

S2.2、收集实时数据；

S2.3、使用轻量级神经网络模型对数据进行预处理和分析，生成特征表示；

S2.4、使用Huffman编码对特征表示进行数据压缩；

S2.5、将压缩后的数据实时传输至强化学习模型。

4.根据权利要求4所述的基于强化学习的多层工厂车间调度方法，其特征在于，所述再采用联邦学习技术对分散在不同设备上的数据进行分布式学习，具体步骤包括：

S2.6、在每个边缘计算节点上，使用本地数据训练轻量级神经网络模型；

S2.7、将各个边缘计算节点的模型权重传输至中心服务器；

S2.8、在中心服务器上，使用加权平均法聚合各个边缘计算节点的模型权重，得到全局模型权重；

S2.9、将全局模型权重发送回各个边缘计算节点，更新本地模型。