[发明专利]基于数字孪生和用户个性化需求的车辆路径规划方法

权利要求书

1.一种基于数字孪生和用户个性化需求的车辆路径规划方法，其特征在于，建立数字孪生体发送路径规划请求，计算用户个性化需求待规划路径效用值；该方法的步骤包括如下：

步骤1，建立数字孪生体发送路径规划请求：

待规划路径的车辆用户将其数字孪生体DTs部署于云服务器上后发送路径规划请求；

步骤2，计算用户个性化需求的待规划路径效用值：

(2a)云服务器将接收到的路径规划请求中出行的起始时刻，添加至云服务器的服务列表中；

(2b)按照下式，计算待规划路径中每到达一个交通路口的驾驶时间：

其中，τ_g表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的在[-1,1]范围归一化后的时间，d_g表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的距离，v_min表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的路段限制的最小行驶速度，max表示取最大值操作，v_max表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的路段限制的最大行驶速度，k_g和k_max分别表示从待规划路径上一个交通路口到达相邻的第g个交通路口的车流量密度和最大的车流量密度；

(2c)按照下式，设计拟根据高峰期车流量密度收取待规划路径中每相邻交通路口路段的归一化后的通行费：

其中，p_g表示拟收取待规划路径中上一个交通路口到达相邻的第g个交通路口在[-1,1]范围归一化后的通行费，cos表示取余弦值操作；

(2d)按照下式，计算待规划路径驾驶时间和通行费的性价比：

其中，α表示待规划路径驾驶时间和通行费的性价比，t_预表示到达目的地的预计时间，t_min表示到达目的地的最短时间；

(2e)按照下式，计算待规划路径中每到达一个交通路口的效用值；

r_g＝ατ_g+(1-α)p_g

其中，r_g表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的效用值；

步骤3，建立交通路口的状态和动作空间：

从选定交通地图中将待规划路径的每个交通路口作为Q-learning算法的状态，建立所有交通路口的状态空间，将待规划路径的每个交通路口对下一个相邻交通路口的选择作为Q-learning算法中的动作，建立所有交通路口的动作空间；

步骤4，利用Q-learning算法更新Q表：

(4a)建立一个Q表，该表的行表示每个交通路口的状态，列表示每个交通路口的动作选择，初始化Q值设置为0；

(4b)将待规划路径起点作为当前状态；

(4c)在当前状态所在列中，选用ε—贪婪策略，ε设置为0.8，即从0到1之间随机选取一个小数，若所取小数在0到0.8之间，则将将选取Q值最大的列作为可行动作，若所取小数在0.8到1之间，则将随机选择除Q值最大的某一列作为可行动作，执行动作，进入下一个状态；

(4d)利用待规划路径中每到达一个交通路口的效用公式，计算当前交通路口到达下一个相邻交通路口的瞬时奖励值，按照下式，更新Q表中的Q值：

Q(s,a)＝Q'(s,a)+l[R(s,a)+γmax Q(s',a')-Q'(s,a)]

其中，Q(s,a)表示当前交通路口s到达下一个相邻交通路口a更新后的Q值，Q'(s,a)表示Q(s,a)更新前的Q值，l表示学习率，其取值范围为[0,1]，R(s,a)表示当前交通路口s到达下一个相邻交通路口a对应的效用值，γ表示折扣因子，其取值范围为[0,1]，max Q(s',a')表示到达的下一个交通路口s'后选择到达相邻交通路口a'对应的最大Q值；

(4e)判断到达的下一个交通路口是否为待规划路径的终点，若是，则执行步骤(4f)，否则，将该交通路口作为当前状态后执行步骤(4c)；

(4f)判断更新后的Q值是否与更新前的Q值趋于一致，若是，则完成Q表更新后执行步骤5，否则，执行步骤(4b)；

步骤5，获取最佳驾驶路径：

将待规划路径起点作为当前状态，在完成更新的Q表中找到当前状态所在行，选择该行中Q值最大的列作为下一个拟到达的交通路口，将该拟到达的交通路口作为当前状态，选择当前状态所在行中Q值最大的列作为下一个到达的交通路口，直至到达待规划路径的终点，得到最佳的驾驶路径；

步骤6，云服务器通过基站向车辆用户发送规划的最佳的驾驶路径。