[发明专利]一种基于强化学习的集装箱装卸智能化方法及系统

权利要求书

1.一种基于强化学习的集装箱装卸智能化方法，其特征在于，包括：

获取集装箱尺寸数据和装卸计划；

获取多个智能体的初始状态、参数以及分配任务；

根据分配任务，利用智能体强化学习模型得出决策结果；

其中，所述智能体包括堆场智能体、装卸设备智能体和泊位智能体，所述利用智能体强化学习模型得出决策结果，包括对分配任务和智能体进行划分，建立智能体强化学习模型，并设置每个智能体在环境中的状态空间、动作空间及奖励值。

2.如权利要求1所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述智能体的初始状态包括泊位智能体的使用情况及泊位规格，装卸设备智能体的使用情况及规格、种类，堆场智能体的在场箱情况。

3.如权利要求2所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述智能体根据分配的任务及自身状态，得到决策动作，经过K步计算后，计算已存决策动作及状态特征。

4.如权利要求3所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述智能体将K步决策动作后将形成的状态特征、决策动作和奖励值上传至经验池，形成经验。

5.如权利要求4所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，上传经验池后，对智能体的参数进行聚合处理，并将聚合结果返回给智能体进行参数更新。

6.如权利要求5所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，参数更新后，根据抽样概率抽样全部经验，所述智能体根据抽样经验迭代训练优化智能体强化学习模型，直到完成所有任务。

7.如权利要求6所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述对智能体的参数进行聚合处理，包括利用智能体的参数和价值函数更新公式，生成TD-error。

8.一种基于强化学习的集装箱装卸智能化系统，其特征在于，包括：

数据获取模块，被配置为，获取智能体的初始状态、参数以及分配任务；

强化学习模块，被配置为，根据分配任务，利用智能体强化学习模型得出决策结果；

其中，所述智能体通过强化学习模型，根据分配目标得出决策动作，并将该决策动作及对应状态特征进行经验暂存。

9.一种计算机可读存储介质，其特征在于：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种基于强化学习的集装箱装卸智能化方法。

10.一种终端设备，其特征在于：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种基于强化学习的集装箱装卸智能化方法。