[发明专利]一种基于深度强化学习的智能反射面调控方法及装置

权利要求书

1.一种基于深度强化学习的智能反射面调控方法，其特征在于，包括：

S1：策略网络根据无线环境的状态即第一状态生成第一动作；其中，所述第一动作包括发射端的波束成形策略、反射元的反射相位及反射元的幅值；

S2：将所述幅值固定并输入基于模型的优化模块，更新所述第一动作得到第二动作，同时得到第一目标值；其中，所述第一目标值为优化模块确定的优化问题目标值的下界；

S3：将所述第二动作作用于无线环境得到第二状态，得到一个新的样本并存入经验池；其中，所述样本由所述第一状态、所述第二动作、第二动作的即时奖励及所述第二状态组成；

S4：策略网络根据所述经验池的样本进行深度确定性策略梯度训练，当前执行者利用深度确定性策略梯度方法更新其参数；

S5：价值网络根据所述经验池的样本进行深度确定性策略梯度训练，根据所述第一目标值和第二目标值确定第三目标值，根据所述第三目标值训练在线Q网络的DNN并更新其参数；其中，第二目标值为目标Q网络产生的优化问题目标值；

S6：重复执行S1-S5直至发射端发射功率的变化幅度小于预设的阈值，得到满足用户特定信噪比约束的前提下，最小化AP发射功率的网络参数，输出当前状态下的波束成形策略、反射元的反射相位及反射元的幅值。

2.根据权利要求1所述的基于深度强化学习的智能反射面调控方法，其特征在于，还包括：发射端通过下行控制信道将波束成形策略、反射元的反射相位及反射元的幅值发送至网络设备。

3.根据权利要求2所述的基于深度强化学习的智能反射面调控方法，其特征在于，步骤S2中更新所述第一动作得到第二动作具体为：通过优化模块更新第一动作中的波束成形策略及反射元的反射相位得到第二动作；其中，所述第一动作和所述第二动作的幅值相同。

4.根据权利要求3所述的基于深度强化学习的智能反射面调控方法，其特征在于，S5中根据所述第一目标值和第二目标值确定第三目标值具体为：选择所述第一目标值和第二目标值中的较大值作为第三目标值。

5.根据权利要求4所述的基于深度强化学习的智能反射面调控方法，其特征在于，还包括：所述智能反射面利用集成的射频能量收集器，从发射端发射的波束成形信号中获取射频能量，所述能量驱动智能反射面的控制功能。

6.一种基于深度强化学习的智能反射面调控装置，其特征在于，包括：

第一动作生成模块，用于策略网络根据无线环境的状态即第一状态生成第一动作；其中，所述第一动作包括发射端的波束成形策略、反射元的反射相位及反射元的幅值；

动作更新模块，用于将所述幅值固定并输入基于模型的优化模块，更新所述第一动作得到第二动作，同时得到第一目标值；其中，所述第一目标值为优化模块确定的优化问题目标值的下界；

样本更新模块，将所述第二动作作用于无线环境得到第二状态，得到一个新的样本并存入经验池；其中，所述样本由所述第一状态、所述第二动作、第二动作的即时奖励及所述第二状态组成；

策略网络训练模块，用于策略网络根据所述经验池的样本进行深度确定性策略梯度训练，当前执行者利用深度确定性策略梯度方法更新其参数；

价值网络训练模块，用于价值网络根据所述经验池的样本进行深度确定性策略梯度训练，根据所述第一目标值和第二目标值确定第三目标值，根据所述第三目标值训练在线Q网络的DNN并更新其参数；其中，第二目标值为目标Q网络产生的优化问题目标值；

重复执行及输出模块，重复执行直至发射端发射功率的变化幅度小于预设的阈值，得到满足用户特定信噪比约束的前提下，最小化AP发射功率的网络参数，输出当前状态的波束成形策略、反射元的反射相位及反射元的幅值。

7.根据权利要求6所述的基于深度强化学习的智能反射面调控装置，其特征在于，还包括：

网络参数发送模块，用于发射端通过下行控制信道将波束成形策略、反射元的反射相位及反射元的幅值发送至网络设备。