[发明专利]一种基于后悔度的双连接基站选择方法

权利要求书

1.一种基于后悔度的双连接基站选择方法，其特征在于：以后悔度为核心，将后悔度定义为当前时刻用户所连入基站处得到的吞吐量与之前时刻从其他基站得到的吞吐量的差值，即用户如果选择了其他的基站，是否能产生更大的吞吐量，若是，则产生后悔；而当前时刻计算出的后悔度的大小会决定下一时刻用户选择每个基站的概率，且后悔度越大，则此基站下一时刻被选中的率就越大。

2.根据权利要求1所述基于后悔度的双连接基站选择方法，其特征在于：包括以下步骤：

步骤1：初始化用户本身的各种行动的概率；

步骤2：用户和其他用户在随机移动，导致了系统状态发生变化；

步骤3：在当前判决时刻，用户根据上一时刻学习到的概率选择基站；

步骤4：从基站处得到的吞吐量更新了本次基站选择的后悔度；

用户的后悔度为：

其中，表示用户的后悔度，其值为过去一段时间内，在τ时刻两种行动的平均吞吐量的差值，表示在τ时刻执行行动(u₁,v₁)，其中u₁∈{0,1}，u₁＝0表示用户没有接入LTE，u₁＝1表示用户接入了LTE；v₁∈{0，1，2,…,K},v₁＝k表示用户接入第k个NR基站，k＝0表示用户未接入NR基站；表示在τ时刻执行行动(u₂,v₂)，其中u₂∈{0,1}，u₂＝0表示用户没有接入LTE，u₂＝1表示用户接入了LTE，t表示用户从进入当前LTE小区的时刻到当前判决时刻的总时长，1_τ表示在时刻其他用户的行动，表示用户在τ时刻执行动作(u₁,v₁)且其他用户行动为1_τ时本用户获得的瞬时吞吐量，表示用户在τ时刻执行动作(u₂,v₂)且其他用户行动为1_τ时本用户获得的瞬时吞吐量；

(2)式中的“用户的后悔度”由基于可用信息的计算估计来代替，通过：

其中，表示过去一段时间内，在τ时刻两种行动的平均吞吐量的差值估计，表示在τ时刻执行动作(u₁,v₁)的概率，表示在τ时刻执行动作(u₂,v₂)的概率，表示用户在τ时刻执行动作(u₁,v₁)且其他用户行动为1_τ时本用户获得的平均吞吐量，表示用户在τ时刻执行动作(u₂,v₂)且其他用户行动为1_τ时本用户获得的平均吞吐量；

(2)(3)式中，平均吞吐量定义为：

其中，带有上标的吞吐量表示该吞吐量是过去一段时间内用户A从该基站处得到的平均吞吐量，代替了(2)式中的瞬时吞吐量，用户连入LTE基站的平均吞吐量和连入第v个NR基站的平均吞吐量分别由(5)(6)式计算得出；

其中，表示在τ时刻用户从LTE基站处得到的吞吐量，表示在τ时刻用户从第v个NR基站处得到的吞吐量，num_LTE_t表示截止到t时刻为止，用户A连入LTE的次数；num_NR_v_t表示截止到t时刻为止，用户A连入第v个NR基站的次数，若某一判决时刻没有切换基站，当前用户A连入基站的累计次数仍加一；此处的平均吞吐量代替了某一时刻的回报，有效的减少切换次数，并提升决策的回报；

(5)(6)式中每个时刻的吞吐量分别由(7)(8)式得到

其中，u＝0表示用户没有连入LTE，不为0则表示连入LTE，此时吞吐量为用户A的瞬时速率R_A,t,LTE与当前LTE基站的用户数n_t,LTE的比值；

其中，表示所有连入到同NR基站的用户在此NR基站处得到相同的吞吐量，表示用户从第v个NR基站处得到的速率，表示当前连入第v个NR基站的用户数，

步骤5：本次行动的后悔度更新了下一判决时刻基站选择的概率；

用户在下个时刻用户选择每个行动的概率为：

其中，M表示终端所在LTE宏小区内所有NR基站的数目，而(2M+1)表示所有可能行动的总数,max(|B_t|)表示所有行动的后悔度的绝对值的最大值，用来归一化分子表示在t+1时刻用户选择每个行动的概率，δ_t＝δ/t^γ,0<δ<1,δ和γ表示设定值；

步骤6：等待用户的下一个判决周期，继续从步骤2开始执行。