[发明专利]一种基于深度强化学习的两目标单机批调度方法

说明书

本发明公开一种基于深度强化学习的两目标批调度方法，包括：1、给出两目标单机批调度问题模型；2、利用加权和策略将两目标单机批调度模型分解为T+1个单目标模型，并采用对分查找和二叉搜索树的思想对单目标模型的权重值进行划分，得到T+1个单目标模型的目标函数；3、采用指针网络作为单目标模型的策略网络，采用多头注意力和卷积层作为单目标模型的评价网络，以构建深度学习的网络模型；4、根据单目标模型的目标函数，采用actor‑critic算法对网络模型进行训练，得到训练后的网络模型。本发明通过两目标的分解和权值的划分，结合深度强化学习决策方法来得到调度方案，从而能提高机器的生产效率，减少运行成本和决策时间。

技术领域

本发明属于生产调度领域，具体涉及一种基于深度强化学习的两目标批调度方法。

背景技术

批处理机调度问题是当前生产调度领域的一个重要分支且受到半导体烧制工艺的启发而来。它广泛存在于工业制造和服务行业，如半导体的老化操作，在罐中或窑炉中化学处理，医院消毒服务的清洗步骤，船舶的调度等等。在单机批调度过程中，制造跨度(makespan)反映了机器利用率的程度，它是批调度问题模型性能的重要衡量指标被广泛使用；最大迟滞时间(maximum tardiness)反映了当前加工的逾期严重程度，而且延期交货会给企业带来重大的损失，所以对其的研究具有很好的现实意义。因此最小化制造跨度和最大迟滞时间作为所研究的问题的两个优化目标。

当前求解多目标优化问题主要采用启发式算法，元启发式算法，以及群体智能算法等等。启发式算法具有流程易理解，计算时间短以及小规模问题较好的性能，而得到了广泛的应用。但是，启发式算法对于复杂问题或者大规模优化问题很难找到最优解。元启发式算法是在启发式算法基础上进一步提升了算法的寻优性能和探索能力。但是随着问题规模的增大，元启发式算法和群体智能算法均需要耗费很大的运行时间，才能找到问题的近似最优解，很难满足当前调度系统进行实时调度的要求。

近年来，深度学习越发火热，其重要分支深度强化学习在生产调度领域展现出很大的潜力。从指针网络开始处理组合优化问题开始，基于指针网络的深度强化学习在处理序贯决策类型问题上展现出优越的性能。考虑到目前关于求解多目标问题使用深度强化学习方法的应用很少，而且采用DQN或者Q学习的多目标调度算法，虽然可以解决问题，但是在模型的泛化能力方面有很大的局限性，只能满足当前类型下问题的调度需求。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度强化学习的两目标单机批调度方法，以期能针对加工时间，工件尺寸和交货期存在差异的工件序列，实现制造跨度和最大迟滞时间的同时最小化，从而在生产实时调度的环境下，既能获得较好的调度方案，又能提高生产效率，减少机器运行成本和实时决策时间。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于深度强化学习的两目标单机批调度方法的特点在于，是将工件集合J中n个工件进行分批处理后放在机器上进行加工；令j∈J表示第j个工件，1≤j≤n；令第j个工件的工件尺寸记为s_j、第j个工件的加工时间记为p_j、第j个工件的交货期记为d_j；第j个工件的完工时间记为c_j、第j个工件的迟滞时间记为t_j；令总的工件分批集合记为K，k∈K表示第k个批，1≤k≤n，令第k个批的处理时间记为P^k；将机器的容量记为S；令两个优化目标分别为制造跨度C_max和最大迟滞时间T_max；所述两目标单机批调度方法包括以下步骤：

步骤1、建立两目标单机批调度模型：

利用式(1)和式(2)建立所述两目标单机批调度模型的目标函数，利用式(3)-式(9)构建所述两目标单机批调度模型的约束条件：