[发明专利]一种面向大速率星地链路通信业务智能流量负载均衡方法

说明书

本发明公开了一种面向大速率星地链路通信业务智能流量负载均衡方法，属于卫星通信系统的星上处理领域。首先，构建虚拟星地通信环境，将数据发送方视为强化学习中的智能体，执行动作为选择某个发送链路，设计基于流量统计的环境奖励函数，环境状态为星地链路状态等信息，并搭建全连接神经网络估计智能体各执行动作的累积回报，利用深度强化学习算法进行训练；随后，将神经网络模型移植到FPGA上，输入收集的星地链路状态等信息，根据累积回报选择最优的发送链路，达到链路间的负载均衡。本发明所使用的小型全连接网络模型参数规模较小，适合星上资源受限的FPGA平台，并且所训练的神经网络模型能够较好地提取输入信息中的特征，具有较好的负载均衡效果。

技术领域

本发明涉及一种面向大速率星地链路通信业务智能流量负载均衡设计方法，属于卫星通信系统的星上处理领域。

背景技术

随着人工智能领域的发展，深度强化学习在特征提取与策略学习上展现出巨大的优势。目前卫星通信领域中，缓解通信链路负载不均衡方法通常是根据链路的数据传输情况及数据帧的某些特征执行固定的负载均衡策略或者优化路由算法。固定的负载均衡策略往往只适应于某些场景，并且人为选择的特征具有较大的局限性，对于差距较大的应用场景，甚至需要更换负载均衡策略；优化路由算法的方式同样需要在特定的场景下进行特定的设计，而对于路由较为简单的场景，优化路由算法对负载均衡的缓解效果较低。

发明内容

本发明在于避免上述背景技术中的问题而提供一种较为灵活，适用性较好的星地链路通信业务中流量负载均衡的设计方法。

本发明采用的技术方案为：

一种面向大速率星地链路通信业务智能流量负载均衡方法，包括如下步骤：

(1)构建虚拟星地链路传输环境，包括设置虚拟环境状态、虚拟环境状态更新时间、执行动作以及环境奖励函数，虚拟环境状态为星地链路状态，执行动作为选择某个星地链路发送数据帧；

(2)搭建全连接神经网络模型；

(3)利用深度强化学习算法在虚拟星地链路传输环境中对全连接神经网络模型进行训练，并对全连接神经网络模型进行优化；

(4)将训练好的全连接神经网络模型存储到FPGA上；

(5)FPGA收集数据帧信息并定时收集星地链路状态，将所收集到的信息作为全连接神经网络模型的输入，在FPGA上进行神经网络模型的运算，计算出各个星地链路发送数据帧所带来的累积回报，选择累积回报最大的星地链路对数据帧进行发送。

其中，所述的步骤(1)具体包括以下步骤：

(101)根据实际星地链路传输，设置虚拟环境状态，虚拟环境状态包括各链路的数据帧发送速率、各链路正在发送数据帧的剩余长度以及当前要发送的数据帧长度；链路正在发送数据帧的剩余长度若为0，则代表该链路空闲；每条链路的数据帧发送速率由该链路设定时间段内发送的比特总数除以时间得到，时间段的长度表示为M个时刻；其中，M值根据不同的星地链路情况进行设置；

(102)设置虚拟环境的时间刻度为t微秒，即虚拟环境的状态每t微秒更新一次；其中，t为设定值；

(103)设置执行动作，利用独热码表示动作，独热码长度为链路数加1，末位置1代表不发送数据，即不选择任何链路，剩余位置1则代表利用该链路发送数据帧；

(104)设置环境奖励函数R＝-∑^N_i＝1|V_i-(∑^N_i＝1V_i)/N|，V_i是链路i在t时刻的数据帧发送速率。

其中，所述的步骤(2)中的全连接神经网络模型的结构如下：