[发明专利]一种基于强化学习的超启发算法的车辆路径优化方法

说明书

一种基于强化学习的超启发算法的车辆路径优化方法，包括以下步骤：步骤1车辆路径问题分析；步骤2初始化；步骤3经验池、序列池存储；步骤4解的接受保留；步骤5判断经验池容量，容量足够则进入步骤8学习，未满，则进入步骤6；步骤6选择Action；步骤7保留最优解；步骤8选择学习样本，并初始化神经网络；步骤9神经网络学习更新；步骤10更新目标值网络；步骤11判断学习结束情况，学习未结束，则进入步骤8继续学习更新；反之，则进入步骤6选择Action，返回主循环；步骤12程序结束，输出车辆路径距离最优值及最优值路径序列。本发明提供了一种高层选择策略为强化学习的超启发算法的车辆路径优化方法。

技术领域

本发明涉及一种物流配送、电子商务、智能优化、计算机应用领域，尤其涉及的是一种车辆路径优化方法。

背景技术

车辆路径问题是一个NP-Hard问题，求解最优解相对困难。现有的车辆路径优化方法，包括精确算法，传统启发式算法和智能算法。精确算法，例如：分支定界法，最小化K-trees，动态规划算法等，能求得全局最优解，但是当客户点规模扩大时，求解时间呈指数增长。传统启发式算法，例如节约法，两阶段法等，相较于精确算法，能够更加有效地找寻最优解，但同样在大规模问题上，效率不佳。智能算法，例如蚁群算法，遗传算法，禁忌搜索算法等，因其既能得到优解，又能保证效率的优点，得到许多研究者青睐。但对传统智能算法的设计，设计者往往需要同时具备计算机算法设计基础以及所需解决问题领域的专业知识，缺乏通用性。近年来，超启发算法因其高效性和通用性的特点，被提出来用于解决跨领域的组合优化问题。同时，人工智能的发展，也使强化学习算法越来越受人关注，其在多种领域的表现尤为亮眼。

发明内容

为了保证算法在求解VRP问题上具有通用性的要求，同时达到利用强化学习算法根据结果优化超启发算法的选择策略，提升算法性能的目的，本发明提出了一种高层策略可移植的基于强化学习的超启发式算法的车辆路径优化方法。

本发明解决其技术问题所采用的技术方案是：

一种基于强化学习的超启发算法的车辆路径优化方法，所述方法包括以下步骤：

步骤1车辆路径问题分析，采用Augerat’s instances数据集，车辆路径问题的成本矩阵的元素是欧几里得距离；

假定配送中心设为i＝0，客户点设为L(i＝1,2,3,…,L)，最多车辆数设为K(k＝1,2,3,…K)，每辆车具有相同载重量为q，每个客户点需求量设为d_i(i＝1,2,3,…,L)，客户i到客户j的距离设为c_ij，优化的目标是行驶距离最短，一个完整的解包含了全部路径的集合；

步骤2初始化，先生成Npop组个体的种群，得到最小路径k，利用聚类思想划分，k块区域，得KC块，由KC块随机挑选生成可行解组P(p_i＝p₁,p₂,p₃,…,p_NP)，计算种群适应度f(f_i＝f₁,f₂,f₃,…,f_NP)；随机挑选一组可行解p_i以及对应适应度值f_i，设P_B为最优解个体，F_B为最优适应度值，设LLH算子数量为N^A，Action取值为(1,2,3,…,N^A)整数，初始化P_B＝p_i，F_B＝f_i，State＝0，Action＝random(N^A)，随机挑选一个范围N^A中的数；