[发明专利]快递收派员的任务规划方法和系统

说明书

本发明涉及的快递收派员的任务规划方法，根据快件状态和收派员状态规划收派员的任务，包括如下步骤：获取收派员状态、收派员可采取的行动集合以及所述收派员的任务快件状态；利用强化学习从所述收派员可采取的行动集合中挑选出收派员下一步采取的最优行动；将最优行动路线发送给收派员；本发明还涉及一种快递收派员的任务规划系统，根据快件状态和收派员状态规划收派员的任务，包括状态获取单元、强化学习单元和反馈单元。本发明涉及的快递收派员的任务规划方法和系统，使收派员不再依赖传统排班系统的班次表执行收派任务，避免了任务分配不均的弊端。

技术领域

本发明涉及物流技术领域，尤其涉及一种快递收派员的任务规划方法和系统。

背景技术

在物流技术领域，收派员路径规划的算法中，收派员何时派送或揽收快件，主要依赖于传统的收派员排班系统的班次表而作业。

在路径规划的实际问题中，收派员用于接收任务的收派APP深度依赖排班系统的班次表。当快件状态与班次不成关系时，会出现骑士过忙或过闲的不均衡状态。例如，根据历史数据统计，收件的高峰期在12点和18点，但是安排收派员进行收件的班次时间却是从早上9点到12点都有，这样，就会出现12点以外班次的收派员工作不饱和而过闲，而12点班次的收派员工作超饱和而过忙。

发明内容

针对以上问题，本发明研究了一种快递收派员的任务规划方法和系统，能够根据当前的快件状态和收派员状态来智能地规划收派员的任务，解决了在原有固定班次模式下，收派员存在过忙或过闲的不均衡状态的问题。

本发明涉及的快递收派员的任务规划方法，根据快件状态和收派员状态规划收派员的任务，包括如下步骤：获取收派员状态、收派员可采取的行动集合以及所述收派员的任务快件状态；利用强化学习从所述收派员可采取的行动集合中挑选出收派员下一步采取的最优行动；将最优行动路线发送给收派员；其中，收派员可采取的行动集合是指收派员到达所有的任务地点和快递集散点的路线集合。

优选地，强化学习包括马尔可夫决策过程，马尔可夫决策过程由一个四元组构成，四元组包括收派员的状态、收派员可采取的行动集合、收派员在当前状态下经过一个行动后转移到下一状态的概率分布、以及收派员采取行动后的回报。

优选地，马尔可夫决策过程如下：

收派员在其初始状态下，从所述行动集合中挑选一个任务地点或快递集散点并到达；

收派员完成一个任务后按照所述概率分布转移到下一状态；

收派员执行下一行动，并转移到再下一状态，直至所述行动集合完成。

优选地，马尔可夫决策过程的策略由深度神经网络决定，策略为收派员可采取的行动集合中收派员下一步最优行动的规则。

优选地，收派员采取任一行动后产生一个相应回报。

优选地，策略是通过找到最合适参数，使收派员采取的下一步行动最优，收派员采取行动后的回报期望值最大。

优选地，快件状态包括：快件起始时间窗、快件数量、起始地址、到达时间要求和快件其他信息。

优选地，收派员状态包括：收派员所处的位置、收派员的任务快件状态、同收派任务片区内其他收派员的状态。

本发明还涉及一种快递收派员的任务规划系统，根据快件状态和收派员状态规划收派员的任务，包括状态获取单元、强化学习单元和反馈单元，状态获取单元获取收派员状态、收派员可采取的行动集合以及所述收派员的任务快件状态；强化学习单元从所述收派员可采取的行动集合中挑选出收派员下一步采取的最优行动；反馈单元将所述最优行动路线发送给收派员；其中，所述收派员可采取的行动集合是指收派员到达所有的任务地点和快递集散点的路线集合。