[发明专利]一种基于机器学习的认知无线电网络中频谱接入方法

权利要求书

1.一种基于机器学习的认知无线电网络中频谱接入方法，其特征在于包括如下步骤：

(1)、初始化模糊Q学习方法中的参数

初始化模糊Q学习方法中的参数，参数为模糊Q学习中各个规则与各个信道相对应的q值，初始化时，将模糊Q学习中各个规则与各个信道相对应的q值设置为0；

(2)、动作决策过程

认知无线电用户根据各个信道可用概率决定其是否接入信道，认知无线电用户使用能量检测方法感知信道状态，然后根据感知到的信号能量及其感知结果的概率密度函数获得各个感知信道的可用概率，将信道可用概率作为模糊推理系统的输入，经过处理获得最终的动作，即认知无线电用户的接入信道集；

(3)、更新q值

根据信道所选动作及其获得的收益计算并更新q值，认知无线电用户根据其所选的动作及获得的收益更新各个规则中的各个信道所对应的q值；规则i中信道k对应的q值按照如下的方法进行计算更新：其中r为学习速率；A_i为对应于第i个规则选择的动作，即所接入的信道集；为第t个决策时刻第i个规则对应的第k个信道的q值；α_i为第i个规则的真实度；ΔQ为新状态与旧状态对应的Q函数值的差，其计算方法为：ΔQ＝R+γV-Q^′；其中，R为执行最终动作所获得的奖赏，根据所选择动作信道集中真实可用的信道集的数量的和进行定义；γ为折扣因子；V为最佳的频谱接入方法对应的整体q值；Q′为认知无线电用户在决策过程中所选择的频谱接入方法对应的整体q值；

其中，Q′的获得方法包括如下步骤：

(a)q值平均值计算

计算各个规则对应的所选接入信道集中信道的q值平均值，其计算方法为：

其中，为规则i对应的所选接入信道集A_i中第k个信道的q值；N_A为所选接入的信道集A_i中信道的个数；

(b)计算Q′

通过计算各个规则对应的q值的加权平均值获得Q′，其计算方法为：

(4)、重复上述(1)～(3)直到频谱接入决策过程结束；

所述步骤(2)中的模糊推理系统使用常用的高斯成员函数，存在三种规则，认知无线电用户每次动作决策的最终推理过程包括如下步骤：

(3a)各个规则下的动作决策

认知无线电用户的在各个规则下的动作决策由各个规则及各个动作对应的q值决定，其决策方法为：以ε概率依次选择各个规则中q值最高的N_A个信道作为接入信道集，在每个接入信道选择过程中，以1-ε概率随机选择接入信道集，A_i为规则i对应的接入信道集，其中，为规则i对应的接入信道集中的第k个信道；

(3b)真实度计算

根据各个规则的成员函数及其动作中各个信道的平均可用概率计算各个规则的真实度，其计算方法为：其中，μ_i(·)为规则i的成员函数；为规则i对应的接入信道集中N_A个信道的平均可用概率，其计算方法为：

其中为规则i对应的接入信道集A_i中第k个信道的可用概率；

(3c)最终动作决策

认知无线电用户根据其各个规则的真实度及各个规则下的动作进行加权平均，最终获得此频谱接入方法决策中的最终动作，其决策方法为：

2.根据权利要求1所述的一种基于机器学习的认知无线电网络中频谱接入方法，其特征在于：认知无线电用户在任意给定时间能够同时感知N_S个信道，在给定时间能够同时接入N_A个信道，N_AN_S。

3.根据权利要求1所述的一种基于机器学习的认知无线电网络中频谱接入方法，其特征在于：所述步骤(3)中的V的获得方法包括如下步骤：

(4a)获得最佳接入信道集

在各个规则下选择q值最大的N_A个信道构成最佳接入信道集其中，为最佳的接入信道集中第k个信道；

(4b)可用概率及q值平均值计算

计算最佳接入信道集中信道的可用概率平均值及q值平均值，其可用概率平均值计算方法为：

其中为规则i对应的最佳接入信道集中第k个信道的可用概率；其q值平均值计算方法为：其中，为规则i对应的最佳的接入信道集中第k个信道的q值；

(4c)获得各个规则对应的真实值

根据各个规则最佳接入信道集中信道的可用概率及成员函数计算各个规则的真实值，其计算方法为：

(4d)计算V

通过计算各个规则对应的q值的加权平均值获得V，其计算方法为：