[发明专利]一种基于强化学习的集装箱装卸智能化方法及系统

说明书

本发明提供了一种基于强化学习的集装箱装卸智能化方法，包括：获取集装箱尺寸数据和装卸计划；获取多个智能体的初始状态、参数以及分配任务；根据分配任务，利用智能体强化学习模型得出决策结果；其中，所述智能体包括堆场智能体、装卸设备智能体和泊位智能体，所述利用智能体强化学习模型得出决策结果，包括对分配任务和智能体进行划分，建立智能体强化学习模型，并设置每个智能体在环境中的状态空间、动作空间及奖励值。本发明建立了强化学习模型，通过多智能体系统不断迭代学习，自动生成集装箱装卸计划，取代了业务人员人工制定装卸计划的旧模式，实现了基于多智能体强化学习的集装箱装卸流程智能化，为智慧港口的建设打下了基础。

技术领域

本发明涉及集装箱装卸智能化技术领域，尤其涉及一种基于强化学习的集装箱装卸智能化方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

早期集装箱装卸问题的解决主要依赖于港口工作人员的经验，需要港口工作人员对泊位空闲状态、装卸设备规格及空闲状态、堆场空闲状态以及泊位规格等问题进行综合考虑，制定相关计划，但是，随着目前港口业务量的增加，货物吞吐规模的扩大，单独依靠港口工作人员人工制定装卸及堆场计划已难以满足生产需要。

现有的诸多研究方法尚未实现场位的分配、码头泊位的分配以及机械设施调度等方面的全自动化规划调度，尚未将岸桥调度优化、堆场调度优化、集装箱装卸调度优化紧密结合起来。同时，强化学习作为一个热门领域，尚未实际应用到港口行业的生产实际中。因此亟需一种基于强化学习的集装箱装卸智能化方法及系统。

发明内容

本发明为了解决上述问题，提出了一种基于强化学习的集装箱装卸智能化方法及系统，本发明将集装箱装卸作业细化为多个子任务，通过多智能体强化学习的方式实现自动生成集装箱装卸作业计划，最终实现智能化。

根据一些实施例，本发明采用如下技术方案：

一种基于强化学习的集装箱装卸智能化方法，包括：

获取集装箱尺寸数据和装卸计划；

获取多个智能体的初始状态、参数以及分配任务；

根据分配任务，利用智能体强化学习模型得出决策结果；

其中，所述智能体包括堆场智能体、装卸设备智能体和泊位智能体，所述利用智能体强化学习模型得出决策结果，包括对分配任务和智能体进行划分，建立智能体强化学习模型，并设置每个智能体在环境中的状态空间、动作空间及奖励值。

进一步地，所述智能体的初始状态包括泊位智能体的使用情况及泊位规格，装卸设备智能体的使用情况及规格、种类，堆场智能体的在场箱情况。

进一步地，所述智能体根据分配的任务及自身状态，得到决策动作，经过K步计算后，计算已存决策动作及状态特征。

进一步地，所述智能体将K步决策动作后将形成的状态特征、决策动作和奖励值上传至经验池，形成经验。

进一步地，上传经验池后，对智能体的参数进行聚合处理，并将聚合结果返回给智能体进行参数更新。

进一步地，参数更新后，根据抽样概率抽样全部经验，所述智能体根据抽样经验迭代训练优化智能体强化学习模型，直到完成所有任务。

进一步地，所述对智能体的参数进行聚合处理，包括利用智能体的参数和价值函数更新公式，生成TD-error。

一种基于强化学习的集装箱装卸智能化系统，包括：

数据获取模块，被配置为，获取智能体的初始状态、参数以及分配任务；

强化学习模块，被配置为，根据分配任务，利用智能体强化学习模型得出决策结果；