[发明专利]基于强化学习的认知无线网络协作节点选择方法

权利要求书

1.一种基于强化学习的认知无线网络协作节点选择方法，其特征在于：包括

a.对潜在协作节点独立执行本地频谱检测和判决，获取判决结果；

b.构建所述潜在协作节点的适用度列表，并根据所述适用度列表选择最佳协作节点集合；

c.根据所述最佳协作节点的漏检概率和虚警概率调整参与协作的节点数。

2.根据权利要求1所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤a包括

a1.对所有潜在协作节点独立执行本地频谱检测和判决，获取对所述潜在协作节点的判决结果以及频谱检测的漏检概率和虚警概率，所述判决结果为x(i),i＝1,…,N，其中N为潜在协作节点数；

所述漏检概率为

所述虚警概率为

其中，i为潜在协作点，N为潜在协作节点数，e_i为检测统计量，λ_i为预设判决门限；γ_i为接收信噪比，L为计算累积能量的样本数，

a2.将所述判决结果x(i)、漏检概率和虚警概率上传至融合中心。

3.根据权利要求1所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤b包括

b1.融合中心执行强化学习，将每个感知周期划分为T_A个时段，进行T_A次信息融合和检测判决，并计算一个感知周期内的综合效益；

b2.在每个感知周期结束时更新所有潜在协作节点的学习参数并计算各潜在协作节点的适用度；

b3.将更新后所有潜在协作节点的适用度值进行排序，形成适用度列表。

4.根据权利要求1所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤c包括

c1.对漏检概率选择T_X个感知周期计算平均漏检概率，对虚警概率选择T_Y个感知周期计算平均虚警概率，

c2.当漏检概率高于预设的阈值时，减少最佳协作节点的数量；当虚警概率高于预设的阈值时，增加最佳协作节点的数量。

5.根据权利要求2所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤a1中，还包括对所有潜在协作节点根据能量检测法执行本地频谱检测和判决。

6.根据权利要求3所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：通过如下公式计算一个感知周期内的综合效益，

其中，r为综合效益，X_t为时段t的融合感知结果，α_t表示X_t＝1时是否正确判决，β_t表示X_t＝0时是否正确判决，C_G为感知正确加权因子，C_B为感知错误加权因子。

7.根据权利要求6所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：通过计算用于表示潜在协作节点i的本地判决与融合判决不同的次数的效益惩罚因子ρ_i，修正强化学习过程。

8.根据权利要求7所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤b2包括

b21.获取更新后协作节点的学习参数：

其中，p_iⁿ⁺¹为更新后协作节点i的学习参数，p_iⁿ为当前感知周期协作节点i的学习参数，0<β≤1表示当前强化学习决策对未来决策的影响，rⁿ为当前感知周期的综合效益，为当前感知周期用作强化基线的平均效益，0<ω≤1为遗忘因子，ξ为对协作节点判决偏差的惩罚强度，为当前感知周期协作节点i的效益惩罚因子，为当前感知周期协作节点i的适用度；

b22.根据更新后的学习参数p_iⁿ⁺¹计算下一感知周期所有潜在协作节点的适用度。

9.根据权利要求4所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：通过如下计算平均漏检概率和平均虚警概率，

其中，X_s,t为第s个感知周期内第t时段的融合判决结果，α_s,t表示X_s,t＝1时是否正确判决，β_s,t表示X_s,t＝0时是否正确判决。