[发明专利]用于卸载5G蜂窝物联网的V2V路由框架的设计方法

权利要求书

1.一种用于卸载5G蜂窝物联网的V2V路由框架的设计方法，其特征在于：包括RLbR系统框架的设计、RLbR框架路由协议的设计以及性能评估；步骤如下：

步骤1：对RLbR系统框架进行整体设计，采用强化学习方法设计一个新的V2V路由算法；

步骤2：对RLbR框架路由协议进行设计，包括网络模型、结点质量评价模型、位置因子辅助的数据包转发模型以及加速Q表收敛的环境模型；

步骤3：对RLbR框架性能进行评估，包括仿真环境、度量和基准算法以及结果分析。

2.根据权利要求1所述的用于卸载5G蜂窝物联网的V2V路由框架的设计方法，其特征在于：所述步骤1的具体步骤包括：

步骤1.1、SDN控制器直接与基站相连，对其覆盖区域内的车辆进行管理；使用SDN控制器为高业务量小区提供智能的本地转发决策，以减轻业务量和平衡网络负载；

步骤1.2、使用许可频谱和未许可频谱，蜂窝网络使用许可频谱，V2V网络使用未许可频谱；每辆车都扮演两个不同的角色，终端用户和转发节点；每辆车至少需要支持两个无线接口，即5G和V2V；

步骤1.3、将流量分为实时流量和非实时流量；非实时流量使用V2V路由，实时流量使用蜂窝网络与终端用户互连。

3.根据权利要求1所述的用于卸载5G蜂窝物联网的V2V路由框架的设计方法，其特征在于：所述步骤2的具体步骤包括：

步骤2.1、网络模型设计；

车辆定期向相邻车辆发送hello报文，每个车辆维护一个Q表来存储相邻车辆的信息；每当收到相邻车辆的hello消息时，更新一次Q表；

将车辆a给车辆b在距离d处发送k位数据的能量消耗定义为如式(1)所示：

车辆接收k位数据的能量消耗定义为如式(2)所示：

其中，E_elec是车辆发送1位数据消耗的固定能量，ε_fs是自由空间的功率放大器的参数，ε_mp是多径信道衰减模型的参数，d₀是一个阈值，

步骤2.2、节点质量评价模型设计；

使用经典Q学习算法映射路由，对于任何转发的数据包，都以V2V网络作为环境，以源车作为代理学习动作选择策略；收到数据包的车辆为当前的环境状态，因此V2V网络中的所有车辆的集合为状态空间S；车辆需要将数据包转发给相邻的车辆，因此转发数据包是代理所做的动作；相邻车辆的数量决定了当前行动集合A的规模；

选择车辆剩余的缓存大小作为评价节点质量的指标，对其进行归一化，得到缓存因子CF，如式(3)所示；

其中，C_x是车辆x的剩余缓存大小，C_max是车辆总缓存大小；

在评估节点质量时考虑剩余能量，将剩余能量归一化，以获得能量因子EF，如式(4)所示：

其中，E_x是车辆x的剩余能量，E_ini是车辆的初始能量；

车辆x收到相邻车辆的hello消息后，车辆s读取消息中包含的信息，计算用于评估相邻车辆的缓存因子CF_x和能量因子EF_x，然后获得即时奖励，如式(5)所示：

R_x＝CF_x*EF_x，R_x∈[0，1] (5)

根据获得的即时奖励更新相邻车辆的Q值，即更新车辆对其相邻车辆的质量评估，表达式如式(6)所示：

Q_s(x)＝α*{R_x+γ*maxQ_x(n)}+(1-α)*Q_s(x)，n∈N_x (6)

其中，Q_s(x)代表车辆s的任何相邻车辆x的Q值，Q_x(n)是车辆x的任何相邻车辆n的Q值，N_x是网络中x车辆的集合，α表示学习率，γ表示衰变系数；

即时奖励越大，对相邻车辆的质量评估越好，就越有可能选择车辆转发数据包，从而确保网络的可靠性和可持续性；车辆根据接收到的hello消息定期更新相邻车辆的状态及其评估，从而确保Q表的即时性，并为数据包的转发做好准备；

步骤2.3、位置因子辅助的数据包转发模型设计；

选择靠近目标车辆并向目标车辆移动的相邻车辆作为下一跳车辆；为了评估相邻车辆和目的地车辆之间的位置关系，RLbR算法使用位置因子PF进行量化，如式(7)所示：

其中，D(*)表示车辆之间的欧几里得距离，r_s表示车辆的输出半径，s是原车辆，x是原车辆s的任何相邻车辆，d是车辆距离，θ是车辆的速度矢量与目标车辆形成的距离矢量之间的夹角；v_s是车辆s当前的速度；

步骤2.4、加速Q表收敛的环境模型设计；

基于车辆的移动和数据包传输的相邻车辆的剩余缓存和剩余能量预测位置，建立一个合适的环境模型，当车辆没有收到hello消息时，该模型会在间隔期间生成模拟的hello消息，从而加快Q表的收敛速度；车辆接收和发送的字节数符合泊松分布，如式(8)所示：

其中，m是车辆在t周期内接收或发送的字节数，λ是平均接收速率或传输速率，即车辆每单位时间接收或发送的字节数；

用到目前为止车辆接收到的字节数B_r和发送的字节数B_t来估计参数λ，如式(9)和式(10)所示：

其中，λ_r是平均接收速率，λ_t是平均传输速率，T是车辆的运行时间；对于任何相邻车辆，其最后一条hello消息到达的时间为t₀；

根据hello消息中的剩余缓存C₀来预测在时间t₀+Δt时相邻车辆的剩余缓存，如式(11)所示：

C＝C₀+(λ_t-λ_r)*Δt (11)

根据能量模型和hello消息中的剩余能量E₀预测在时间t₀+Δt时邻居车辆的剩余能量，如式(12)所示：

根据式(3)和式(4)获得相邻车辆在t₀+Δt时的缓存因子和能量因了然后获得邻居车辆在t₀+Δt时的Q值；

根据hello消息中的位置坐标(x₀，y₀)和速度v₀预测在t₀+Δt时相邻车辆的位置坐标(x，y)，如式(13)和式(14)所示：

x＝x₀+v₀*cosθ*Δt (13)

y＝y₀+v₀*sinθ*Δt (14)

根据相邻车辆在t₀+Δt时的位置信息计算在时间t₀+Δt时的位置因子；

步骤2.5、车辆重复执行步骤2.4，直至Q表收敛；在间隔期间更新Q表，加速Q表的收敛，提高表中信息的准确性。