[发明专利]一种基于空基可重构智能表面的安全传输方法及系统

权利要求书

1.一种基于空基可重构智能表面的安全传输方法，其特征在于，包括以下步骤：

S1，构建无线传输系统模型，通过部署ARIS来增强地面合法收发节点间的信息传输，同时抑制地面窃听者的干扰攻击，联合优化ARIS波束成形与ARIS的部署使得安全传输速率达到最大；

S2，根据构建的无线传输系统模型，对无人机与地面源节点、目的节点以及窃听节点间的信道增益进行建模，得到目的节点以及窃听者处接收信号的表达式，计算出瞬时信噪比和安全传输速率；

S3，构造以ARIS波束成形与部署为优化变量，以最大化无线传输系统安全传输速率为目标函数的优化模型；

S4，在固定ARIS部署的条件下，通过松弛和半定规划来求解优化问题，优化ARIS的波束成形最大化安全传输速率；

S5，将ARIS的部署优化问题建模为马尔可夫决策过程，通过深度强化学习来优化ARIS的部署，根据ARIS当前位置的最优波束成形以及神经网络中存储的价值函数和经验回放池，更新ARIS的位置直至最优位置，以最大化系统安全传输速率；

构建的无线传输模型由地面源节点S、目的节点D、窃听者J以及部署在空中的可重构智能反射面I组成，I反射来自S发射的信号传递给D达到增强合法传输的效果，通过优化I的波束成形以及部署位置来最大化安全传输速率；

在目的节点D以及窃听者J处接收到的信号表达式如下：

其中，s为发射信号，满足h_SD,h_SJ,h_ID,h_IJ,h_SI表示相对应的信道状态矩阵，n_D和n_J分别为D和J处功率为的背景高斯噪声，是ARIS的反射系数矩阵，并且

所述瞬时信噪比的表达式如下：

其中，Z∈{D,J}，系统安全传输速率表达式如下：

R＝[log(1+γ_D)-log(1+γ_J)]⁺

其中，(·)⁺＝max(·,0)；

最大化安全传输速率为目标的优化问题的表达式如下：

其中，R为安全传输速率，θ为反射元件的相移，w是ARIS部署的水平位置，全部节点都位于由定义的区域内，和表示在x轴和y轴的刻度；

在固定ARIS部署的条件下，优化ARIS波束成形的方法如下：

根据固定ARIS部署的参数，将系统安全传输速率改写为：

R＝log(1+ζTr(ΨH_SID))-log(1+ζTr(ΨH_SIJ))

再根据引理“若φ(χ,x)＝log(χ)-χx+1,x＞0，则得到最优解在上述的安全传输速率公式中引入辅助变量则对安全传输速率公式进行如下近似处理：

接着将Ψ作为新的优化变量，通过半定松弛法，忽略其秩为1的约束，则ARIS波束成形的优化模型表述为如下半定规划问题：

接着用现有优化求解器，有效求解上述半定规划问题，并对优化结果Ψ进行高斯随机化分解得到v，最后优化的相移向量根据得出，v的第一个元素总是1；

将ARIS部署的优化问题建模为马尔可夫决策过程，具体步骤为：

定义时序为ARIS移动过程中时间的离散化序列，每一个时隙代理更新其决策；

定义状态空间表示ARIS的当前状态，其中ARIS部署的范围位于定义的区域内，将该区域离散为网格状，w_t表示ARIS在t时刻所处的水平位置；

定义动作空间为ARIS在每一个状态下即将要移动的方向，基于所考虑区域的离散网格化，可选的动作限制于四个方向上的单元移动；

定义奖励当ARIS采取行动后移动到不同位置后，安全传输速率发生了改变，若ARIS采取的行动使得速率增加，给予智能体积极的奖励，反之亦然，奖励函数表示为：

定义状态转移概率状态转移概率由P(s_t+1|s_t,a_t)表示，表示给定当前状态和动作转移到下一个状态的概率；

考虑到马尔可夫决策过程具有庞大的状态空间，DQN利用神经网络来估计动作值函数可以比传统的Q学习更加有效，通过深度强化学习优化ARIS部署，包括以下步骤：

S5021、设置强化学习参数，包括学习速率α，折扣因子γ，经验回放空间大小N，批量学习值B，贪心指数ε以及更新速率C；

S5022、用θ表示现实神经网络Q的参数，用θ′表示目标神经网络Q′的参数；初始化经验回访空间初始化每个神经网络的参数，训练回合数；

S5023、将ARIS部署至初始位置，选择初始的相移

S5024、更新时间t←t+1，根据当前ARIS位置通过步骤S4优化ARIS波束成形；

S5025、智能体观察ARIS当前状态，以ε的概率选择最大化价值函数Q(w_t,a_t；θ)的动作a_t，否则根据动作空间随机选取一个动作，得到瞬时回报奖励后转移到下一状态，即移动到新的位置；将转移矩阵(w_t,a_t,r_t,w_t+1)作为样本存入经验回放空间

S5026、若回放空间存储样本数大于N，进行步骤S5027；否则重复步骤S5025继续收集样本至

S5027、从经验回放空间中随机取样B个样本(w_j,a_j,r_j,w_j+1)，然后通过梯度下降法最小化损失函数L(θ)来更新现实神经网络的参数θ,具体为：

其中目标值Y是通过目标网络Q′生成的：

S5028、间隔C个时序后更新显示神经网络参数θ以及目标神经网络参数θ′，当ARIS到达当前训练回合最优位置时退出当前训练回合；否则回到步骤S5025；

S5029、若各个训练回合得出的ARIS最优部署位置以及最大安全传输速率达到收敛，则退出训练过程；否则进入新的训练回合，回到步骤S5023；

完成训练后，得到ARIS波束成形与部署的最优解，安全传输速率达到最大，从而保证通信系统安全传输。

2.一种基于空基可重构智能表面的安全传输系统，其特征在于，包括：

安全传输系统模块，用于构建无线传输系统模型，通过部署ARIS来增强地面合法收发节点间的信息传输，同时抑制地面窃听者的干扰攻击，目标在于联合优化ARIS波束成形与ARIS的部署使得系统的安全传输速率达到最大；

安全传输速率优化模块，用于对无人机与地面源节点、目的节点以及窃听节点间的信道增益进行建模，得到目的节点以及窃听者处接收信号的表达式，计算出系统的瞬时信噪比和安全传输速率；

ARIS优化模块，用于构造以ARIS波束成形与部署为优化变量，以最大化系统安全传输速率为目标函数的优化模型；

ARIS波束成形优化模块，用于在固定ARIS部署的条件下，通过松弛和半定规划来求解优化问题，优化ARIS的波束成形最大化安全传输速率；

ARIS部署优化模块，用于将ARIS的部署优化问题建模为马尔可夫决策过程，通过深度强化学习来优化ARIS的部署，根据ARIS当前位置的最优波束成形以及神经网络中存储的价值函数和经验回放池，更新ARIS的位置直至最优位置，以最大化系统安全传输速率；

将基于空基可重构智能表面的安全传输系统装配至无人机上，将携带着ARIS的无人机部署到目标区域，无人机根据所属区域的网络拓扑关系以及信道情况自行移动到最优位置，协助地面收发节点完成信息的安全传输；

构建的无线传输模型由地面源节点S、目的节点D、窃听者J以及部署在空中的可重构智能反射面I组成，I反射来自S发射的信号传递给D达到增强合法传输的效果，通过优化I的波束成形以及部署位置来最大化安全传输速率；

在目的节点D以及窃听者J处接收到的信号表达式如下：

其中，s为发射信号，满足h_SD,h_SJ,h_ID,h_IJ,h_SI表示相对应的信道状态矩阵，n_D和n_J分别为D和J处功率为的背景高斯噪声，是ARIS的反射系数矩阵，并且

所述瞬时信噪比的表达式如下：

其中，Z∈{D,J}，系统安全传输速率表达式如下：

R＝[log(1+γ_D)-log(1+γ_J)]⁺

其中，(·)⁺＝max(·,0)；

最大化安全传输速率为目标的优化问题的表达式如下：

其中，R为安全传输速率，θ为反射元件的相移，w是ARIS部署的水平位置，全部节点都位于由定义的区域内，和表示在x轴和y轴的刻度；

在固定ARIS部署的条件下，优化ARIS波束成形的方法如下：

根据固定ARIS部署的参数，将系统安全传输速率改写为：

R＝Iog(1+ζTr(ΨH_SID))-Iog(1+ζTr(ΨH_SIJ))

再根据引理“若φ(χ,x)＝log(χ)-χx+1,x＞0，则得到最优解χ^*＝1/x”，在上述的安全传输速率公式中引入辅助变量χ，则对安全传输速率公式进行如下近似处理：

接着将Ψ作为新的优化变量，通过半定松弛法，忽略其秩为1的约束，则ARIS波束成形的优化模型表述为如下半定规划问题：

接着用现有优化求解器，有效求解上述半定规划问题，并对优化结果Ψ进行高斯随机化分解得到v，最后优化的相移向量根据得出，v的第一个元素总是1；

将ARIS部署的优化问题建模为马尔可夫决策过程，具体步骤为：

定义时序为ARIS移动过程中时间的离散化序列，每一个时隙代理更新其决策；

定义状态空间表示ARIS的当前状态，其中ARIS部署的范围位于定义的区域内，将该区域离散为网格状，w_t表示ARIS在t时刻所处的水平位置；

定义动作空间为ARIS在每一个状态下即将要移动的方向，基于所考虑区域的离散网格化，可选的动作限制于四个方向上的单元移动；

定义奖励当ARIS采取行动后移动到不同位置后，安全传输速率发生了改变，若ARIS采取的行动使得速率增加，给予智能体积极的奖励，反之亦然，奖励函数表示为：

定义状态转移概率状态转移概率由P(s_t+1|s_t,a_t)表示，表示给定当前状态和动作转移到下一个状态的概率；

考虑到马尔可夫决策过程具有庞大的状态空间，DQN利用神经网络来估计动作值函数可以比传统的Q学习更加有效，通过深度强化学习优化ARIS部署，包括以下步骤：

S5021、设置强化学习参数，包括学习速率α，折扣因子γ，经验回放空间大小N，批量学习值B，贪心指数ε以及更新速率C；

S5022、用θ表示现实神经网络Q的参数，用θ′表示目标神经网络Q′的参数；初始化经验回访空间初始化每个神经网络的参数，训练回合数；

S5023、将ARIS部署至初始位置，选择初始的相移

S5024、更新时间t←t+1，根据当前ARIS位置通过ARIS波束成形优化模块优化ARIS波束成形；

S5025、智能体观察ARIS当前状态，以ε的概率选择最大化价值函数Q(w_t,a_t；θ)的动作a_t，否则根据动作空间随机选取一个动作，得到瞬时回报奖励后转移到下一状态，即移动到新的位置；将转移矩阵(w_t,a_t,r_t,w_t+1)作为样本存入经验回放空间

S5026、若回放空间存储样本数大于N，进行步骤S5027；否则重复步骤S5025继续收集样本至

S5027、从经验回放空间中随机取样B个样本(w_j,a_j,r_j,w_j+1)，然后通过梯度下降法最小化损失函数L(θ)来更新现实神经网络的参数θ,具体为：

其中目标值Y是通过目标网络Q′生成的：

S5028、间隔C个时序后更新显示神经网络参数θ以及目标神经网络参数θ′，当ARIS到达当前训练回合最优位置时退出当前训练回合；否则回到步骤S5025；

S5029、若各个训练回合得出的ARIS最优部署位置以及最大安全传输速率达到收敛，则退出训练过程；否则进入新的训练回合，回到步骤S5023；

完成训练后，得到ARIS波束成形与部署的最优解，安全传输速率达到最大，从而保证通信系统安全传输。