[发明专利]基于强化学习的离散制造行业生产排程方法及系统

说明书

本申请实施例中提供了一种基于强化学习的离散制造行业生产排程方法及系统，生产排程方法包括：启动原计划与排程方案，监测计划与排程的相关条件是否发生变化；判断发生变化的相关条件是否对计划与排程结果产生影响；将对计划与排程结果产生影响的相关条件对应的加工请求进行优先级排序，得到请求优先级排序表；最后，根据请求优先级排序表将加工请求依次通过计划与排程网络，输出新的计划与排程方案。本申请考虑到多批次小批量生产请求、多生产工序约束和人员请假及设备故障等约束，通过强化学习的方法对企业的计划与生产进行建模求解，从而在较短的时间内，获得企业高效的计划与排程结果，并提升离散制造企业的生产效率。

技术领域

本申请属于机器强化学习技术领域，具体地，涉及一种基于强化学习的离散制造行业生产排程方法及系统。

背景技术

离散型制造DM(Discrete Manufacturing)是将不同的现成元部件及子系统通过串联或者并联加工装配成较大型系统或者产品，比如服装辅料行业、纸包装制造行业、家电制造行业和航空航天行业等。例如在服装辅料行业，对于一个拉链的生产就包括拉头、布带和拉链三个生产过程，一共十二道大的工序。离散制造企业产品生产制造涉及的工序多、设备多。随着用户的需求从数量向质量变化，同质化向多样化的转变，用户需求呈现长尾分布，使得生产制造企业的订单从传统的小批次大批量向多批次小批量发展。出现了多批次小批量的订单需求，多样的生产工序、串并联的生产方式导致了生产现场条件的不确定、物料转运到达时间不稳定等问题，且加工时间因设备和人员具有一定的波动性等问题，使得离散制造企业的计划和排程变成一个巨复杂的系统问题。

传统通过富有经验的技术人员依据经验完成计划与排程，但是会出现排程不合理、资源分配后冲突的现象，造成企业生产效率低下。而基于启发式算法存在计划与排程效果差问题，基于(非)线性规划的计划与排程存在计算时间过长，无法满足生产现场突发状况下的敏捷计划与排程需求，例如设备突发故障、用户要求紧急插单等问题。

具体的，对于启发式算法，例如遗传算法、蚁群和模拟退火算法等，其初始化随机解后通过随机探索、优选的方式获得局部最优解，该算法获得的解仅仅是局部最优，无法保证全局最优，且结果依赖初始化的随机解，不同的分布的随机解会出现不同结果；对于线性/非线性最优化算法，例如整数(实数)线性规划方法，通过构建所有约束条件在全局范围求解最优解，该算法复杂度随着规模的增加呈现非线性增加，在工业排程等复杂场景中，所需要的求解时间长达小时级或者更长，是现实应用中无法容忍的。

随着云计算、大数据和强化学习的不断发展，基于强化学习解决巨复杂的运筹优化问题成为了可能，例如Google公司基于强化学习开发的阿法狗(AlphaGo)，在分钟级的时间内成功求解了围棋的最优解或者近似最优解。因此，亟需一种基于强化学习的离散制造行业生产排程方法用于在多请求、多工序和多生产设备等约束条件下，可在较短的时间内获得较好的计划与排程效果。

发明内容

本发明提出了一种基于强化学习的离散制造行业生产排程方法及系统，旨在解决现有离散制造行业生产排程方法效果差、生产效果低的问题。

根据本申请实施例的第一个方面，提供了一种基于强化学习的离散制造行业生产排程方法，具体包括以下步骤：

启动原计划与排程方案，监测计划与排程的相关条件是否发生变化；

判断发生变化的相关条件是否对计划与排程结果产生影响；

将对计划与排程结果产生影响的相关条件对应的加工请求进行优先级排序，得到请求优先级排序表；

根据请求优先级排序表将加工请求依次通过计划与排程网络，输出新的计划与排程方案。

可选地，将对计划与排程结果产生影响的相关条件对应的加工请求进行优先级排序之前，还包括以下步骤：

判断加工请求中是否有新加工请求，并输出新加工请求；