[发明专利]一种集装箱区垂直布置的双自动化场桥动态调度方法

说明书

本发明公开了一种集装箱区垂直布置的双自动化场桥动态调度方法，将箱区垂直岸线布置的堆场双自动化场桥的作业调度问题转化为可执行新任务的场桥的任务指派问题，分别针对海、陆侧场桥构建基于深度强化学习的场桥调度智能体。场桥调度Agent的基本思路是：将强化学习与深度学习结合，利用深度学习的深度置信网络代替强化学习的状态‑动作的价值评估表，通过强化学习进行DBN网络的训练学习，将训练后的DBN用于场桥任务的指派。场桥调度Agent可以预先借助堆场作业环境进行交互试错的强化学习，训练后的Agent可根据场桥作业的动态环境状态信息实时生成场桥的任务指派指令，并根据环境反馈更新DBN参数，实现动态环境下的堆场自动化场桥的自适应实时调度。

技术领域

本发明涉及一种场桥调度方法，具体涉及一种集装箱区垂直布置的双自动化场桥动态调度方法。

背景技术

随着国际经济一体化进程的不断推进，各国之间的贸易往来变得愈来愈频繁，港口货物吞吐量也与日俱增。与此同时，为满足更大的货物承运需求，集装箱船舶不断向大型化方向发展，近年来已经有多艘2万标准箱以上的集装箱船舶投入使用。在海运货物吞吐量与日俱增以及船舶大型化的双重趋势下，提升港口码头的作业效率和服务水平以匹配各方需求已经成为了亟需解决的重要问题。堆场作为码头作业的核心区域，是提升码头整体作业效率重要的瓶颈环节。实现码头堆场作业设备的优化调度，对加速车船周转、降低运营成本、提升码头整体运营能力具有十分重要的作用。

自动化集装箱码头堆场可采用垂直岸线或平行岸线布置两种形式，其中垂直岸线布置形式具有水平运输车辆搬运箱距离短，容易实现自动化与非自动化作业区分离等优点，近年来被广泛采用。垂直布置的集装箱堆场箱区的海、陆两端分别设置海、陆侧集装箱交接点，堆场自身以物理隔离的形式将两侧的车辆分流。每个箱区内通常布置两台不可穿越的自动化龙门起重机，分别负责海陆两侧各自的作业任务。两台场桥需保证一定的安全作业距离。场桥作业过程中存在多种动态不确定性因素，比如车辆到达的动态不确定性等。如何适应场桥作业的动态不确定环境，对场桥进行动态优化调度，以提升堆场作业效率，是该领域的技术难点问题。

深度强化学习算法是一种新型的智能算法，解决了传统强化学习算法受状态动作维度限制而难以应对复杂环境的问题。它利用深度学习网络强大的非线性拟合能力逼近状态-动作价值函数，通过强化学习思想与动态环境的不断交互学习以实现优化决策，是解决大规模的动态决策问题的有效方式，目前已经在梯控管理、流水车间调度、微电网储能调度等诸多领域得到了成功应用。目前解决集装箱码头堆场箱区垂直岸线布置的自动化场桥调度问题主要通过以下三种方式：

(1)基于运筹学和智能算法的离线调度。该类方法通常假定作业任务的信息已知且通常是静态的，依据堆场实际作业过程的约束条件建立数学模型，并通过遗传算法、模拟退火算法、蚁群算法等进行数学模型的求解，得到固定任务序列的优化排序；该类方法针对静态问题的求解精度相对较高，但计算时间通常较长。该类方法属于离线调度范畴。

(2)基于启发式规则的在线调度。该类方法通常设定启发式规则进行动态的场桥调度，在场桥完成上一任务后，依据设定的启发式策略进行后续的任务选择。常见的调度策略有：最近策略、先到先服务策略、最短时间策略、最小翻箱量策略以及组合策略等。通过设定的启发式规则动态地确定场桥下一作业任务。该类方法属于在线调度范畴。

(3)基于贪婪算法和近似改进算法的滚动调度。该类方法通过拆分决策过程或引入滚动时间窗来缩小调度任务的搜索空间，借助贪婪性搜索算法或改进遗传算法等进行求解。该类方法能够在可接受的时间内获得调度解，并随着时间的推移，滚动更新后续时间窗内的作业调度解。该类方法可以依据动态环境变化进行多次重调度，能够在一定程度上适应场桥调度的动态不确定因素变化。