[发明专利]用于异构网络几乎空白子帧的配置方法及装置、电子设备

权利要求书

1.一种用于异构网络几乎空白子帧的配置方法，其特征在于，包括：

使用排队论对小基站与无线接入点共存的异构网络进行建模；

获得所述异构网络的当前时延性能状态；

获得基于强化学习得到的目标折扣回报表；其中，所述目标折扣回报表包括所述异构网络处于不同时延性能状态时，所述小基站执行不同几乎空白子帧ABS子帧动作所对应的多个折扣回报参数值；

根据所述当前时延性能状态以及所述折扣回报参数值确定执行ABS子帧动作所配置的ABS子帧数量；

按照所述ABS子帧数量对所述小基站的ABS子帧进行配置。

2.根据权利要求1所述的配置方法，其特征在于，所述获得基于强化学习得到的目标折扣回报表，包括：

获得在前一ABS子帧配置周期中的所述小基站数据发送时段得到的所述异构网络的时延性能，并获得所述时延性能与目标时延性能的绝对差值；

控制所述小基站在当前时延性能状态选择并执行下一ABS子帧动作，并确定所述小基站在下一时延性能状态的最小折扣回报参数值；

基于当前折扣回报参数值、所述绝对差值以及所述最小折扣回报参数值计算获得最新当前折扣回报参数值；其中，所述当前折扣回报参数值为所述小基站在当前时延性能状态执行当前ABS子帧动作所对应的折扣回报参数值；

利用所述最新当前折扣回报参数值更新所述当前折扣回报参数值以得到所述目标折扣回报表。

3.根据权利要求2所述的配置方法，其特征在于，所述基于当前折扣回报参数值、所述绝对差值以及所述最小折扣回报参数值计算获得最新当前折扣回报参数值，包括：

按照如下公式计算获得所述最新当前折扣回报参数值：

其中，Q(s_j，a_k)为当前折扣回报参数值，为最小折扣回报参数值，s_j为当前时延性能状态，a_k为当前ABS子帧动作，s_j′为下一时延性能状态，a_k′为下一ABS子帧动作，α为学习率，c为绝对差值，γ为折扣因子。

4.根据权利要求2所述的配置方法，其特征在于，控制所述小基站在当前时延性能状态选择下一ABS子帧动作，包括：

生成数值大小处于预设数值范围内的随机数值；

在所述随机数值小于贪婪参数的情况下，确定随机选择的ABS子帧动作；

将随机选择的ABS子帧动作作为所述下一ABS子帧动作。

5.根据权利要求4所述的配置方法，其特征在于，控制所述小基站在当前时延性能状态选择下一ABS子帧动作，还包括：

在所述随机数值大于或等于所述贪婪参数的情况下，确定与所述最小折扣回报参数值相对应的ABS子帧动作；

将与所述最小折扣回报参数值相对应的ABS子帧动作作为所述下一ABS子帧动作。

6.根据权利要求2至5任一项所述的配置方法，其特征在于，所述获得所述异构网络的当前时延性能状态，包括：

按照如下公式计算获得所述异构网络的时延性能：

其中，P为异构网络的时延性能，P_i为第i个终端设备的时延性能，N_l为与小基站进行数据通信的终端设备的数量，N_w为与无线接入点进行数据通信的终端设备的数量。

7.根据权利要求6所述的配置方法，其特征在于，根据业务的预设时延要求确定每一终端设备的时延性能。

8.根据权利要求7所述的配置方法，其特征在于，所述根据业务的预设时延要求确定每一终端设备的时延性能，包括：

按照如下公式确定获得每一终端设备的时延性能：

其中，P_i为第i个终端设备的时延性能，D_j为小基站l或无线接入点w的平均包时延，d_i为第i个终端设备对应业务的预设时延要求。