[发明专利]一种物联网单中继的缓存和通信资源智能调度方法

权利要求书

1.一种物联网单中继的缓存和通信资源智能调度方法，其特征在于，包括以下步骤：

步骤1：假设多个用户通过一个中继向接收器发送数据分组，缓存的大小为N；用户的数据包均服从泊松分布，且有相同的到达率；当数据分组到达中继时，如果缓存有剩余空间则存储，并在选定的信道上传输，否则如果缓存没有剩余空间数据分组将被丢弃；

步骤2：建模分析；

步骤2-1：缓存建模；

采用排队论模型M/M/1/N/∞，假设每个用户u同分布相互独立，数据分组到达缓存的数量服从泊松分布，单位时间T_i到达速率为λ，密度函数为：

其中r_i为单个用户在第i帧数据分组到达缓存的数量；为单个用户r_i的第i帧数据在单位时间T_i到达的速率；

假设用户u的数据包在单位时间T_i被发送，发送率为μ，单位时间的缓存的业务量λ/μ；

当数据分组到达缓存的速率等于离开缓存的速率时，整个缓存处于一个平衡的状态：

λ(1-P_N)＝μ(1-P₀)

其中P_N为缓存刚好占满的概率，P₀为缓存刚好为空的概率；

则缓存的平衡状态概率：

其中，p_n-1为缓存占用为n-1时概率，p_n+1为缓存占用为n+1时概率，p_n为缓存占用为n时概率，p_N-1为缓存占用为N-1时概率；

得出缓存占用为空的概率：

p₀＝[1-(λ-μ)]/[1-(λ/μ)^N+1]

缓存占用为n时概率：

p_n＝(λ/μ)ⁿp₀

当n＝N时，满缓存则达到了最大占用率，若再有包到达则会丢失，因此丢失的概率为：

p_N＝(λ/μ)^Np₀

假设在第i帧，单个用户缓存占用n_i，u，用户u在第i帧到达的包的数量为r_i，u，在第i+1帧实际缓存占用大小：

其中a_i，u为用户u在第i帧发送的数据包的数量，此时刻所有信道为用户u发送的数据分组总量为：

其中a_c，u，m为用户u在信道c上以传输模式m发送的数据分组数，m为传输模式，c为信道序号，C为信道总数；

对用户u的状态转移概率是对所有U个用户，状态转移概率为：

其中，n表示某一用户当前状态缓存占用，n′表示某一用户下一状态缓存占用，n_u表示用户u当前状态缓存占用，n′_u表示用户u下一状态缓存占用；

步骤2-2：信道建模；

单位时间T_i为一个时隙，在一个T_i中信道的状态不改变，信道的状态转换发生在两个相邻的状态之间；信道状态被建模为一个有限马尔可夫链；ρ为信噪比服从瑞利分布的随机值，ρ＞0；F为信道状态的数量，信道状态空间为ρ_SNR＝{ρ₁，ρ₂，...，ρ_F-1}；μ_SNR表示峰值信噪比；

因此信道状态的概率分布：

在信道状态转移概率：

p_F(f_i，f_i+1)＝N(ρ_i+1)T_i/p_F(f_i)，i∈{1，2，3，...，N-2}

p_F(f_i，f_i-1)＝N(ρ_i)T_i/p_F(f_i)，i∈{1，2，3，...，N-1}

f_i-1，f_i，f_i+1分别表示信号状态i-1，信号状态i，信号状态i+1；且f_d为多普勒平移最大值；

则整个系统的信道状态转移概率：

步骤2-3：系统状态转移；

系统状态是缓冲区状态和通道状态的结合S_i＝N_i*F_i；缓存状态表示U个用户状态乘积，信道状态表示C个信道状态乘积；

因此系统的状态转换概率：

步骤2-4：信道传输功率；

采用AM方法调整传输功率和速率；传输m∈{0，1，2，...，M}，M为可选模式的总数；0和1分别对应无传输和BPSK传输，m≥2对应2m-QAM传输；给定传输速率、功率和信道状态，估计误码率(BER)；p(f_i，m)是传输功率，WN₀是噪声功率；

如果m＝1，误码率：

如果m＞1，误码率：：

p_BER(f_i，m)≤0.2exp(-1.6p(f_i，m)/WN₀(2^m-1))

步骤2-5：系统效用值；

假设代码速率为V，那么系统的吞吐量是V*j，收益等量化表示为V*j＝a_c，u，m；系统状态s_i＝{n_i，f_i}，a_i＝{a_c，u，m}为传输的数据包数量，收益就是传输的包的数量；

则收益函数为：

B(s_i，a_i)＝a_u，c，m

a_u，c，m＝max(n_u)

开销函数为：

其中，exp(θ×n_i)为缓存压力值，p_c(s_i，a_i)为信道c最小传输功率；

则系统效用值：

U(s_i，a_i)＝B(s_i，a_i)/C(s_i，a_i)

步骤3：基于深度强化学习算法获得最优传输机制；

系统包含两个状态对象：缓存状态和信道状态；系统的运行是一个状态转换的过程；系统的下一个状态是通过在当前状态下选择并执行某个动作而获得的；下一个单位时间系统的状态只与当前状态和动作有关，因此，将数据传输调度问题建模为马尔可夫决策过程，包括以下几部分；

步骤3-1：状态集；

系统的状态分两部分，一部分是缓存的状态灿，一部分是信道的状态F_i，系统状态S_i＝{N_i，F_i}；

步骤3-2：动作集；

当发生状态转换时，中继必须根据当前状态选择动作，动作集a_i∈A＝{a_u，c，m}，u∈{1，2，...，U}，c∈{1，2，...，C}，m∈{0，1，2，...，M}，a_i＝a_u，c，m表示在第i帧开始，中继选择信道c，传输模式m，为用户u发送a_u，c，m个数据包；

步骤3-3：传输需求优先级；

假设在当前第i帧的系统状态下，选择数据包数量最多的用户，信道状态最好的信道传输数据分组；

步骤3-4：深度强化学习算法；

步骤3-4-1：深度Q学习算法；

根据当前状态s_i，计算出所有动作a_i的Q值，然后取最大Q值对应的动作执行，设置一个修正值Index，选择到许久未被执行的动作，a表示所有可能执行的动作；

修正值：

其中，C_p为常数，T_a(i)为动作a在第i帧后被选中的次数；

动作a在第i帧后被选中的方差值：

在确定动作后，中继器执行动作a_i，计算效用值U，并根据公式更新Q值函数：

其中学习率α为变化值α＝1/(1+T_a(i))，0＜α≤1；

步骤3-4-2：SAE模型；

SAE是由若干个自编码器组成，在开始得到时序输入的特征，将其作为输入信息来开始训练一个自编码器，进而得到新的特征表达，然后重复此过程，不断得到新的特征表达，而随着AE数量的不断增加，得到了栈式自编码器，即SAE；把Q值函数进行SAE模型训练，获得最优的缓存和通信资源智能调度模型。