[发明专利]一种基于深度强化学习的流水车间调度方法

说明书

本发明公开了一种基于深度强化学习的流水车间调度方法，将每个工件作为节点并将其工序的处理时间作为节点信息进行聚合得到其嵌入表示。使用指针网络拟合策略网络，将最大完工时间作为奖励，对策略网络进行训练并保存参数。实际问题中，将每个工件的嵌入表示作为策略网络的输入，并依次选择概率最高的工件，直到所有工件选择完毕得到完整的调度序列。本发明所述的流水车间调度方法在小规模问题上可以获得近优解，在大规模问题上可以获得优于启发式算法和遗传算法的较优解，扩展到不同机器数和作业数的问题上，打破了在不同的问题规模和问题数据上需要重新对模型进行训练的局限性，通用性更广。

技术领域

本发明涉及流水车间调度技术领域，尤其涉及一种基于深度强化学习的流水车间调度方法。

背景技术

流水车间调度问题是经典的组合优化问题之一，该问题难以求得最优解且计算复杂度较高。为了提高系统的生产效率，必须使用有效和高效的制造和调度技术解决方案。许多研究者针对此问题提出了多种算法。精确算法能够得到最优解，然而求解时间往往过长，不适用于大规模问题；NEH启发式算法是目前应用较为普遍的一种流水车间调度算法，可用于求解目标为最小处理时间(makespan)的优化问题。启发式算法很难保证解的质量，针对不同类型的问题需要重新对算法进行设计，因此启发式算法在通用性上存在局限性。

近年来，人工智能(Artificial Intelligence,AI)在解决组合优化问题方面展现出巨大的潜力。Vinyals等人提出了基于Seq2Seq模型的Pointer Network，该网络可以解决输出目标的数量依赖于输入序列长度的问题，将一个序列映射到另一个序列。传统的Seq2Seq模型包含三个部分编码器、解码器以及连接的中间状态向量，编码器通过学习输入将其编码为一个定长的向量，解码器再通过中间向量输出内容。但是随着序列变长，RNN会出现梯度弥散，导致信息大量丢失。Pointer Network引入了注意力机制，让网络能够将注意力集中于最有价值的信息上，并为其分配更高的权重，有效地提升了模型效果，解决了信息丢失的问题。该网络的输出结果是对输入序列的一个排列，在旅行商问题和背包问题上取得了较好的结果。

由于流水车间调度问题中的数据标签难以获取，因此使用监督学习效果不佳。与监督学习不同，强化学习是一个通过不断与环境互动、更新策略的过程，不需要数据标签。流水车间调度问题可以视作一个序列决策问题并且有着明确的数值目标，即处理时间的值越小越好，因此使用强化学习进行训练更具可行性。使用多层感知器拟合强化学习中的策略网络需要人工设计状态特征与奖励函数，而将机器数和作业数等指标直接作为状态特征会导致网络的输入变化较大，难以扩展到不同机器数和作业数的问题上，在不同的问题规模和问题数据上可能需要重新对模型进行训练，在通用性上还是存在局限性。

发明内容

针对上述现有技术的不足，本发明提供一种基于深度强化学习的流水车间调度方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于深度强化学习的流水车间调度方法，将每个工件作为节点并将其工序的处理时间作为节点信息进行聚合得到其嵌入表示。使用指针网络拟合策略网络，将最大完工时间作为奖励，对策略网络进行训练并保存参数。实际问题中，将每个工件的嵌入表示作为策略网络的输入，并依次选择概率最高的工件，直到所有工件选择完毕得到完整的调度序列。包括如下步骤：

步骤1：生成用于训练的流水车间问题数据集，并按比例分割为训练集、验证集和测试集；

所述流水车间问题数据集为b*j*m大小的问题矩阵，其中b为训练或验证的样本数大小batchsize，j为工件数，m为机器数。

所述步骤1的过程如下：

步骤1.1：初始化问题规模指定工件数记为j和机器数记为m，子任务在机器上处理时间的上界a与下界b，指定生成数据的随机seed种子值；