[发明专利]一种物流机器人动态任务分配方法及系统

权利要求书

1.一种物流机器人动态任务分配方法，其特征在于，包括：

选取仓库已经处理完毕的某一时段的所有订单，根据订单数量，订单内各任务所对应的货架，货架所在的货格的位置，运输货架的物流机器人数量、速度，接收货架的拣选台数量、位置，将物流机器人运输货架的路径和时间代价简化为物流机器人与目标位置的曼哈顿距离，其中，目标位置是指货架和/或拣选台；以及，基于马尔可夫决策过程，根据订单数量，订单内各任务所对应的货架，货架所在的货格的位置，运输货架的物流机器人数量、速度，接收货架的拣选台数量、位置和大小，构建物流机器人动态任务分配模型；构建所述物流机器人动态任务分配模型采用将订单分配给拣选台、将分配给拣选台的订单分解成独立任务、将每个独立任务分配到物流机器人的任务分配方式；

采用优化的蒙特卡洛搜索树算法对物流机器人动态任务分配模型进行训练求解，使得得到的解为物流机器人分配相应的一个或多个任务、且被分配任务的所有物流机器人完成所有货架拣选的总成本最优，得到最优物流机器人动态任务分配模型；所述最优物流机器人动态任务分配模型，能够将新收到的订单分配给拣选台，将每个拣选台的订单分解成独立的任务，将每个任务分配到物流机器人，物流机器人根据为其分配的任务所对应的货架运输到拣选台，在拣选台拣选完成后将相应的货架运回原位；

在仓库接收到订单并根据订单拣选货物时，采用最优物流机器人动态任务分配模型将新收到的订单分配给拣选台、将每个拣选台的订单分解成独立任务、将每个独立任务分配到物流机器人；物流机器人将其被分配的任务所对应的货架运输到拣选台，在拣选台拣选完成后将货架运回原位；

所述采用优化的蒙特卡洛搜索树算法对物流机器人动态任务分配模型进行训练求解，具体包括：

物流机器人动态任务分配模型包括为拣选台设置的状态转移方程：P(s_t，a_t，s_t+1)＝1，通过对状态转移方程进行演变，得到所有拣选台的最大化动作序列A₁，A₂，...，A_n；所述所有拣选台的最大化动作序列则为物流机器人动态任务分配模型的求解结果；其中，s₁，s₂，...，s_terminal分别表示拣选台的任务分配连续状态，s_t表示拣选台的第t个状态，s_terminal表示拣选台的终止状态；a_t表示拣选台的状态由s_t转变到s_t+1是所选的动作；A₁表示拣选台1的动作序列，A₂表示拣选台2的动作序列，每个拣选台的动作序列为a₁，a₂，...，a_n，n就是动作次数；

对状态转移方程进行演变包括如下3步：

第1步：构建拣选台的初始状态s₁和拣选台的终止状态s_terminal的n×S矩阵；其中，n是指n个拣选台，S是指所有拣选台的动作序列数量；

第2步：将拣选台的状态由s_t演变为s_t+1：s_t～s_t+1，设定拣选台访问订单的次数阈值；当拣选台的当前状态s_t节点访问次数N(s_t)＜P时，使用启发式规则为拣选台选择动作，将订单分配给相应的拣选台；当N(s_t)＞P时，根据优化的蒙特卡洛搜索树算法对动作序列A_t进行收益Q(s_t，a_t)评估，根据评估结果选出动作a_t，将订单分配给动作a_t所对应的拣选台，状态更新完毕，更新至状态s_t+1；其中，Q表示动作a_t的收益评估，当前状态s_t节点是指拣选台当前的工作状态，动作是指将订单选择拣选台；优化的蒙特卡洛搜索树算法是指在传统蒙特卡洛搜索树算法节点选择中加入节点收益的幅度，以对传统蒙特卡洛搜索树算法进行优化；

第3步：如果拣选台演变后的状态不等于终止状态：s_t+1≠s_terminal，重复执行第2步直至终止状态s_terminal；

所述物流机器人动态任务分配模型还包括为物流机器人设置的状态转移方程，所述为物流机器人设置的状态转移方程是指在拣选台每进行一次状态演变后，将任务分配给物流机器人进行任务分配的状态转移：

第1步：构建所有物流机器人的初始状态和所有物流机器人的终止状态的矩阵；在矩阵中包含所有机器人自初始状态到终止状态的所有状态；

第2步：将所有物流机器人的状态由当前状态演变为下一状态，设定物流机器人访问任务的次数阈值；当物流机器人的当前状态访问次数小于访问任务的次数阈值时，使用启发式规则为物流机器人选择动作，将任务分配给相应的物流机器人；当当前状态访问次数大于访问任务的次数阈值时，根据优化的蒙特卡洛搜索树算法对动作序列A_t进行评估Q(s_t，a_t)，选出动作a_t，将任务分配给动作a_t所对应的物流机器人，状态更新完毕，更新至状态s_t+1；其中，当前状态s_t节点是指物流机器人当前的工作状态，动作是指将任务选择物流机器人；

第3步：如果物流机器人演变后的状态不等于终止状态，重复执行第2步直至终止状态；

为拣选台设置的状态转移方程，在对为拣选台设置的状态转移方程进行演变时，第2步：根据优化的蒙特卡洛搜索树算法对动作序列A_t进行评估Q(s_t，a_t)，选出动作a_t，将订单分配给动作a_t所对应的拣选台，状态更新完毕，更新至状态s_t+1；以及，第3步：如果拣选台演变后的状态不等于终止状态：s_t+1≠s_terminal，重复执行第2步直至终止状态s_terminal，具体包括：

将订单动态分配给拣选台的过程看作优化的蒙特卡洛搜索树算法的落子；其中，拣选台的初始状态s₁作为蒙特卡洛搜索树的根节点，拣选台的终止状态s_terminal作为优化的蒙特卡洛搜索树的目标节点，除根节点和目标节点之外的节点为叶子节点，采用优化的蒙特卡洛树算法进行搜索确定订单分配给拣选台的过程包括选择阶段、扩展阶段、模拟阶段和回溯阶段，其中：

选择阶段：节点选择时在优化的蒙特卡洛搜索树算法中增加对该节点的收益变化幅度约束；

扩展阶段：如果当前节点为优化的蒙特卡洛搜索树的叶子节点，则对蒙特卡洛搜索树进行分支扩展，扩展的原则是在该叶子节点被选择后该叶子节点模拟的动作唯一、且自动跳转到下一状态被当做扩展节点s₁所选择的子节点s₂₁时，其子节点为s₃，可扩展节点s₂₁，s₃，使得订单分配动作确定时，假如其货架分配动作唯一，则直接扩展节点至下个状态，当下个状态存在多个订单分配动作a₃₁，a₃₂时扩展停止；

模拟阶段：在扩展停止后，通过贪心启发规则选择叶子节点中的某个叶子节点作为当前节点之后的节点；其中，将订单分配给拣选台所采用的启发规则包括：订单相似度、剩余任务量最少、剩余任务代价最小；

回溯阶段：每次模拟完成后，重新更新父节点信息，同时更新各个节点的收益历次平方和信息。