[发明专利]一种基于双更新策略的车联网节点转发效用学习方法

权利要求书

1.一种基于双更新策略的车联网节点转发效用学习方法，其特征是：包括以下步骤：

步骤1：基于车辆节点间信息交互过程中的信息更新，确定学习过程中基本要素；

步骤2：基于车辆节点间信息交互过程中的信息更新，确定节点接触新鲜度系数，

步骤3：确定节点接触概率，建立车载机会网络中节点转发效用学习模型；

步骤4：根据车载机会网络的路由需求和节点机会接触特性，确定转发效用学习更新模型，所述模型包括动态折扣因子；

步骤5：建立转发效用值数据包转发更新策略，获取发送节点从上一节点中接收该数据包的时刻，并确定两个节点间经历的时间长度，并带入更新模型中确定状态-动作值；

步骤6：建立转发效用值节点接触更新策略，在更新过程中采用与转发更新过程不同的学习系数；

所述步骤2具体为:

接触新鲜度系数F_A,B为节点A和B之间的接触信息新鲜程度，表征当前接触概率的时效性强度，在节点A和B没有接触时，设置接触新鲜度系数F_A,B等于零；当节点A和B建立链接后，通过下式进行更新公式：

F_A,B＝F_A,B+(1-F_A,B)*P_int

其中，P_int为一个固定常数，设置P_int等于0.85；

当节点A和B长时间没有接触，则两个节点间接触信息的新鲜度降低，需要对长时间未接触的节点接触新鲜度系数进行衰减，通过下式进行衰减更新：

其中，η为衰减因子，取值为0.95；μ_A,B表示距离节点A和B上次接触断开时刻所经过的时间单位的个数，时间单位的长度为节点A和B的平均接触间隔时间；

所述步骤3具体为：

步骤3.1：确定节点接触概率，城市中车辆节点间的接触间隔时间服从负指数分布，以此来估计节点间的接触概率，通过下式表示接触概率：

其中，P_A,B(T)表示节点A和节点B的在时间T内接触的概率，θ_A,B表示节点A和B接触间隔负指数分布的均值；

步骤3.2：利用节点接触间隔的统计平均来估算接触间隔指数分布的分布均值，则节点A和B在时间T内的接触概率通过下式表示：

其中，N表示节点A和B的接触次数，t₁为第一次接触的时刻，t_2i+1为第i+1次的接触开始时刻，t_2i为第i次接触的断开时刻；

步骤3.3：引入接触新鲜度系数后，通过下式表示节点A和B的接触概率：

所述步骤4具体为：

根据车载机会网络的路由需求和节点机会接触特性，确定转发效用学习更新模型，所述模型包括动态折扣因子，立即回报函数，并将节点接触概率引入更新模型；

立即回报值R_d(s,x)通过下式表示：

其中表示目的节点为d的数据包从进入节点s到转发进入节点x所经历的时间长度；

动态折扣因子γ_d(s,x)的通过下式表示：

其中，γ为折扣因子常数，0γ≤1；表示目的节点为d的数据包从进入节点s到转发进入节点x所经历的时间长度；

转发效用Q值更新公式通过下式所示：

其中，Q_d(s,x)为目的节点为d的数据包在节点s中选择节点x作为下一跳转发节点的状态-动作值，即s向x转发目的节点为d的数据包对应的转发效用Q值；α为学习系数，0≤α≤1；R_d(s,x)为目的节点为d的数据包在节点s中选择节点x作为下一跳转发节点的立即回报值；γ_d(s,x)为在节点s中向节点x转发目的节点为d的数据包所对应的动态折扣因子；N_x表示节点的接触节点集合，该集合包含所有节点x移动过程中遇到的所有节点；Q_d′(x,y)为适应针对车载机会网络动态变化特性引入的节点接触概率的状态-动作值；

所述步骤6具体为：通过节点接触交互信息的发送一方面使得节点间的接触信息得到更新，包括接触时间的更新、接触次数的更新、累计接触间隔时长的更新以及节点间接触新鲜度系数的更新，从而实现节点间接触概率的计算；

通过获取接触交互信息中包含的Q值列表信息，实现状态-动作值的节点接触更新，在节点接触更新过程中，不同于转发更新过程，立即回报值函数和折扣因子函数所用的节点数据包传输时长被节点间数据包传输时长的平均值代替，在更新过程中采用与转发更新过程不同的学习系数。