[发明专利]一种基于强化学习的地图辅助车联网抗干扰通信方法

权利要求书

1.一种基于强化学习的地图辅助车联网抗干扰通信方法，其特征在于包括以下步骤：

步骤1：车联网无线通信设备的可用发射功率和信道个数分别记为N和C，记发射功率可选信道X＝{[iP_max/N，]}_{1≤i≤N，1≤j≤C}；

步骤2：构建神经网络A和网络B，其网络参数分别记为ω₁和ω₂；初始化信干噪比γ⁽⁰⁾，误码率ρ⁽⁰⁾，接收功率探索率ε＝ε_max；

步骤3：获取实时地图Γ得到遮挡物的位置和尺寸信息；

步骤4：在第k时隙，从路边站渠道获得车辆位置Y^(k)、当前车辆密度n^(k)，通过信道估计算法获得到与路边站的信道状态h^(k)，根据车辆位置Y^(k)计算与路边站间的距离D^(k)，根据实时地图Γ和车辆位置Y^(k)判断信道类型κ^(k)，其中信道类型分为视距通信链路κ^(k)＝1和非视距通信链路κ^(k)＝-1；

步骤5：构建当前的状态向量

步骤6：将状态向量s^(k)输入神经网络A，得到状态-动作对的估计值Q(s^(k)，x^(k))；以1-ε的概率选择具有最大Q_i值的发射功率和信道以的概率随机选择任意的发射功率和信道；发送车辆在信道上以功率发送数据包给路边站；

步骤7：令路边站测量收到的信号功率统计前M个数据包的误码率ρ^(k)，并量化为L阶，估计信干噪比γ^(k)，形成反馈信息通过控制信道途径反馈给车载无线设备；

步骤8：估计当前的能耗E^(k)，计算：

其中，是指示函数：当变量为真则取值1，否则为0；

步骤9：将历史抗干扰经验e^(k)＝{s^(k)，x^(k)，u^(k)}存入缓存池H中，经过Z个时隙，从缓存池H中随机地取出一个历史经验e⁽ⁱ⁾，并将状态向量s⁽ⁱ⁾输入神经网络B，记神经网络B的输出为

步骤10：采用随机梯度下降算法更新神经网络A的权重参数即

且每间隔c个时隙，令

步骤11：判断信道类型κ^(k)是否等于-κ^(k-1)，当κ^(k)＝-κ^(k-1)时，则探索率ε＝ε_max；

步骤12：判断探索率ε是否大于ε_min，若是，则ε＝ε-ε₀；

步骤13：重复步骤3-12，直到满足|Q(s^(k+1)，x^(k+1))-Q(s^(k)，x^(k))|＜0.01，即算法收敛。