[发明专利]基于DQN的不确定车间环境下物料配送实时优化方法

说明书

本发明公开了一种基于DQN的不确定车间环境下物料配送实时优化方法，包括以下步骤：对不确定车间环境进行建模，建立物料需求动态时间窗方程及路径实时路阻系数方程；将不确定车间环境下物料配送实时决策优化问题转化为半马尔科夫决策问题，设计状态空间、全局动作空间、局部动作空间和奖励函数等关键模型要素；使用全连接神经网络来设计DQN的两个Q网络；DQN不断与环境交互进行试错学习直到Q值网络训练稳定；将实时感知到的车间关键状态数据和环境模型计算得到的扰动数据传输到训练稳定的DQN中；DQN计算出当前状态下的最佳的安全动作，然后传输给AGV，指导AGV在不确定车间环境下实时响应扰动并做出合适的动作选择，以较小的成本快速完成物料配送任务。

技术领域

本发明涉及一种离散制造车间物料配送技术领域，具体来说涉及一种基于 DQN的不确定车间环境下物料配送实时优化方法。

背景技术

通过改善企业车间内部生产物流来提升生产效益，已经成为企业发展的一个重要竞争要素。随着工业物联网(Industrial Internet of Things，IoT)和人工智能(Artificial Intelligence，AI)的快速发展，制造企业的生产方式开始向信息化、智能化方向转变。车间物料配送(Material Delivery，MD)优化问题是生产物流 (ProductionLogistics，PL)优化问题中的一个重要研究分支，物料准时配送是保障车间生产活动顺利进行的关键。然而离散型制造车间在生产过程中经常存在各种不确定因素，比如设备故障、工件返工、路径临时堵塞和AGV失效等。这些不确定因素导致物料需求时间和配送时间难以精确控制，进而增加了企业生产的时间成本。在实际生产过程中，生产系统的不确定因素导致物料需求时间的不确定，车间环境和AGV的不确定因素导致物料配送时间的不确定，难以保证物料在合适的时间、以合适的数量、配送到正确的工位。当车间生产过程、设备和环境发生动态变化时，原始物料配送计划难以对各类不确定性事件进行及时响应。

目前众多学者对车间物料配送优化问题进行了深入研究，通常将其简化或抽象为一个数学模型，并设计了相应的解决算法，为解决物料配送优化问题提供了理论参考。目前解决物料配送优化问题的主要算法有遗传算法、模拟退火算法、蚁群算法、粒子群算法和混合多目标算法等。然而，传统的静态物料配送优化算法难以完全适应动态的生产状况，在设备故障、工件返工、路径临时堵塞等动态扰动下，预定的配送时间窗和路由失去了最优性，甚至变得不可执行，这意味着静态优化算法对于减少实际生产环境中的物料配送成本几乎没有贡献。

随着工业物联网的迅速发展，自动识别技术(射频识别(Radio FrequencyIdentification，RFID)、超宽带(Ultra-Wideband，UWB)、条形码和传感器等) 人工智能、虚拟仿真等物联网技术在制造车间广泛应用。因此，车间实时制造数据已经变得更容易获取，为不确定环境下车间物料配送动态优化提供了新的解决思路，越来越受到学者们的关注。近年来，基于机器学习的方法由于其优异的学习能力在许多研究领域得到应用。强化学习(Reinforcement learning，RL) 和深度强化学习(Deep Reinforcement learning，DRL)方法为动态环境中的优化决策提供了一个通用的框架，可以帮助解决组合优化问题。为了实时响应车间环境的变化，采用强化学习(RL)和深度强化学习(DRL)方法来实现物料配送的实时决策优化。

发明内容

本发明所要解决的技术问题是：提供一种能有效解决不确定车间环境下物料配送存在的动态响应能力弱、配送准确度低和决策实时性不足问题的基于 DQN的不确定车间环境下物料配送实时优化方法。

为解决上述技术问题，本发明所采用的技术方案为：一种基于DQN(深度 Q网络)的不确定车间环境下物料配送实时优化方法，包括以下步骤：

S1：不确定车间环境建模

考虑到物料需求和配送阶段的动态扰动，以动态时间窗表征物料需求阶段的扰动，以路径实时路阻系数表征物料配送阶段的扰动，以提高物料配送的准确性：