[发明专利]一种基于强化学习的超启发算法的车辆路径优化方法

权利要求书

1.一种基于强化学习的超启发算法的车辆路径优化方法，其特征在于，所述方法包括以下步骤：

步骤1车辆路径问题分析，采用Augerat’s instances数据集，车辆路径问题的成本矩阵的元素是欧几里得距离；假定配送中心设为P＝0，客户点设为i，客户点总数设为L，i∈L，最多车辆数设为K，每辆车具有相同载重量为q，每个客户点需求量设为d_i，客户点i到客户点j的距离设为c_ij，优化的目标是行驶距离最短，一个完整的解包含了全部路径的集合；

步骤2初始化，先生成Npop组个体的种群，得到最小路径，利用聚类思想划分，h块区域，得KC块，由KC块随机挑选生成可行解组p，可行解组p的元素p_i＝p₁,p₂,p₃,…,p_NP，计算种群适应度f，种群适应度f的元素f_i＝f₁,f₂,f₃,…,f_NP；随机挑选一组可行解p_i以及对应适应度值f_i，设p_b为最优解个体，f_b为最优适应度值，设LLH算子数量为N^A，初始化p_b＝p_i，f_b＝f_i，State＝0，Action＝random(N^A)，其中Action取值为1至N^A中的任何一个整数，表示从范围1至N^A随机挑选一个整数作为Action的值；

步骤3经验池、序列池存储，操作上步Action＝random(N^A)后，产生的个体为Ind，适应度值为fit，根据适应度值，判断立即回报值Reward，此时状态即为“下一个状态”，判断该State和State^t所属状态，利用式(1)计算State^t值：

State^t＝-(fit-fit')/fit'+Ck     (1)

设由EP代表经验池，将上述值存入，则EP_nE＝[State,Action,Reward,State^t]，nE代表经验池中数据组数；当达到设定次数后，判断此时State值所属状态，如果为15≤State≤25，则此时Action为路径内算子，对此时的序列进行筛选，质量优则存入SP，SP代表序列池，反之，则更新序列；SP设常量Q_sp为容量，且每次对比SP中序列，若此时序列在SP中有对应序列集，则SP中序列计数一次，当SP容量已满，则刷新对比次数最少的序列；

步骤4解的接受保留，判断，如果fitfit′，则说明此时解的适应度值更好，则保存解及解的适应度值，令State＝State^t，fit′＝fit；如果fit≥fit′，则采用模拟退火判别，随机产生一个值，若退火概率p随机值，则同样保留好解，同时更新状态，反之，则舍去该解，此时State^t＝State，fit′＝fit′；

步骤5判断经验池容量，判断经验池内组数nE，nE≥N^E，则进入步骤8学习环节，否则，进入步骤6选择Action步骤；

步骤6选择Action，设置epsilon值，若随机值epsilon，将State值输入估值网络，输出Q_e值，取max(Q_e)所对应的Action，若随机值epsilon，则根据此时State值，令Action＝random(N^A)，此时N^A为对应State值的算子序号；

步骤7保留最优解，若fit≤f_b，f_b＝fit，p_b＝Ind，反之则舍弃；

步骤8选择学习样本，并初始化神经网络，从EP中随机挑选N^S组，作为学习样本，记为ESP，初始化估值网络和目标值网络的阈值ω_e、ω_t与估值网络和目标值网络的权值b_e、b_t；

步骤9神经网络学习更新，估值网络中输入为ESP样本中第nS个样本中的State值，计算后取目标值网络中输入利用式(2)，计算损失值Loss，更新估值网络的阈值ω_e和权值b_e；

γ是折扣率；

步骤10更新目标值网络，判断学习代数Ln≥LN，则令ω_t、b_t替代ω_e、b_e的值；

步骤11判断学习结束情况，若学习代数Ln≤(3/4)*N^S，则进入步骤8继续学习更新，反之，则进入步骤6选择Action，返回主循环；

步骤12程序结束，输出车辆路径距离最优值及最优值路径序列。

2.如权利要求1所述的一种基于强化学习的超启发算法的车辆路径优化方法，其特征在于，所述步骤2中，生成初始种群组的过程如下：

2.1)对于其中任意一条路径，先设配送中心点为P＝0，即该路径两端点都记为0；随机从L个客户点中挑选部分客户点，加入该路径的首尾两端点中间，判断该车辆现载重量情况；

2.2)从剩下的客户点中继续随机挑选，依次加入路线，直到超出标准载重量，则产生第二条路径；将超出标准载重量的点，加入新路线中；重复循环，当所有客户点都被选取，则一个初始种群个体生成；

2.3)多次进行上述操作，生成设定数量个体的种群，数量为Npop，对Npop个个体进行路径判断，选出具有最短路径数的个体，记最短路径数为n，将n作为划分块的数量；

2.4)计算所有客户点与仓库点的距离c_i0，为了节省聚类分类的时间，将c_i0升序排列，只取前m个点作为聚类中心点，设聚类中心点为L^KC，KC＝1,2,3,…,m，KC代表聚类块，以除聚类中心点外的其他客户点，与各聚类中心的距离最短为原则，进行聚类；

2.5)随机排列KC块，按车辆载重量分配，依KC块排列顺序，随机挑选客户，若KC块中客户点未能满足第k车辆载重，则向KC+1块中随机抽取客户点，直至达到第k辆车载重要求，反之则向后延用至k+1辆车，共组成n条路径，由此产生一个初始解个体。