[发明专利]一种基于强化学习算法的无人天车路径规划方法及装置

说明书

本发明涉及无人库区物流调度技术领域，特别是指一种基于强化学习算法的无人天车路径规划方法及装置。方法包括：通过待规划场景中的障碍点集合与多个任务案例中的障碍点集合，确定待规划场景对应的初始Q表；基于Bellman方程、ε‑greedy贪婪选择策略进行路径预测，并对初始Q表进行更新，生成路径预测对应的Q表；在生成的多个路径预测对应的Q表中，选择满足筛选条件的Q表作为待规划场景对应的规划Q表，将规划Q表对应的路径规划作为待规划场景的路径规划。采用本发明，可以减少迭代次数，提高路径规划的效率。

技术领域

本发明涉及无人库区物流调度技术领域，特别是指一种基于强化学习算法的无人天车路径规划方法及装置。

背景技术

在智能工厂背景下，企业需要建立高效的生产运营机制快速响应动态变化的市场需求，制定高质量的生产计划和物流调度方案。以智能感知、设备互联、协同控制为基础的无人库区模式对于提高工厂生产效率，降低生产成本，改善产品质量具有重要的意义，而路径规划是无人行车运行过程中的关键问题之一。目前运用到路径规划的方法大致分为四类，分别是经典优化算法、启发式算法、系统仿真算法和智能方法。

经典优化算法属于精确算法，它总能保证寻求问题的最优解，常见算法有线性规划法、整数规划法和动态规划法，经典算法在遇到大规模或超大规模的组合优化问题会出现空间膨胀问题，故只适合解决小规模组合优化问题。启发式算法是建立在经验和规则判断基础上的一种快速、近似的方法，其应用必须对问题进行深入研究为前提，了解问题需求和结构，才能提出合理的实现方法，虽然可以产生很好的求解方案但是用来评估解决方案的优劣手段比较少。系统仿真算法侧重对系统中运行逻辑关系进行描述，但仿真的准确性受人员的判断和技巧的限制。智能算法使机器人具有与人类智慧相关的判断、推理、学习和问题求解等功能，用于实际问题形式越来越复杂，问题规模越来越庞大的情况下，使用经典优化算法已经无法满足问题求解的要求。因此，目前还没有能够解决无人行车在复杂库区地图和不确定环境中的路径规划问题的方法。

发明内容

为了解决上述背景技术存在的无法解决无人行车在复杂库区地图和不确定环境中的路径规划问题的技术问题，本发明实施例提供了一种基于强化学习算法的无人天车路径规划方法及装置。所述技术方案如下：

一方面，提供了一种基于强化学习算法的无人天车路径规划方法，该方法由区块链管理节点实现，该方法包括：

S1、获取预先存储的多个任务案例，所述任务案例包括路径规划方案对应的Q表以及障碍点集合，所述Q表用于表示状态与动作对应的行为价值；

S2、通过待规划场景中的障碍点集合与所述多个任务案例中的障碍点集合，确定所述待规划场景对应的初始Q表；

S3、基于Bellman方程、贪婪选择策略进行路径预测，并对所述初始Q表进行更新，生成路径预测对应的Q表；

S4、判断是否满足停止条件，如果未满足，则转去执行S2；如果满足停止条件，则转去执行S5；

S5、在生成的多个路径预测对应的Q表中，选择满足筛选条件的Q表作为待规划场景对应的规划Q表，将所述规划Q表对应的路径规划作为待规划场景的路径规划。

可选地，所述S2中的通过待规划场景中的障碍点集合与所述多个任务案例中的障碍点集合，确定所述待规划场景对应的初始Q表，包括：

S21、确定待规划场景中的障碍点集合与所述多个任务案例中的每个任务案例的障碍点集合的交集数量；其中，表示待规划场景中的障碍点集合，表示每个任务案例的障碍点集合；

S22、确定所述待规划场景中的障碍点数量与所述每个任务案例的障碍点数量的较大值；

S23、根据下述公式（1），计算待规划场景与所述多个任务案例中的每个任务案例的相似度；