[发明专利]天地一体化信息网络智能拥塞控制方法、系统及介质

说明书

本发明提供一种天地一体化信息网络智能拥塞控制方法、系统及介质，包括：基于多目标强化学习的多目标策略模型训练方法，训练单个多目标策略模型，根据不同偏好设置，输出不同拥塞控制策略；基于有监督学习的偏好自适应模型训练方法，基于最优策略构建偏好自适应模型训练集，训练偏好自适应模型，根据环境状态序列识别网络环境，选择合适偏好；智能拥塞控制系统，发送端根据ACK统计网络状态和网络状态序列，先输入至偏好自适应模型，得到该环境适用的偏好，再将偏好和网络状态输入至多目标策略模型，调整发送端发送速率。本发明能够识别网络环境，自适应调整拥塞控制策略，应对异构、复杂的天地一体化网络环境，保障用户在异构网络中端到端的传输质量。

技术领域

本发明涉及天地一体化信息管理技术领域，具体地，涉及一种天地一体化信息网络智能拥塞控制方法、系统及介质。

背景技术

在异构的天地一体化网络中，同一个节点将通过多样的网络环境与不同对端通信。这里，多样的网络环境包括了不同轨道的卫星网络、地面网络以及蜂窝网络等。这些网络环境的链路质量(即链路随机丢包率、端到端时延、可用带宽)均有较大差异。传输层自适应拥塞控制通过感知网络状态，动态调整每条数据流的发送速率，是保障用户在天地一体化网络不同环境下传输质量的关键技术。

现有拥塞控制方法可分为基于规则的方法和基于学习的方法。其中基于规则的方法将预定义事件或信号(例如，数据包丢失、延迟变化)与发送速率调整方式绑定，不能普适于所有类型的网络环境。例如，TCP Cubic等基于丢包的方法将数据包丢失视为拥塞的标志，这些策略不适用于链路质量较差、随即丢包率较高的网络环境。现有的基于学习的方法只能在特定的网络环境中达到较高的性能。其中一个最主要的原因是它们均采用固定的、经验性的偏好将优化目标构造成单个奖励函数(强化学习，如Aurora、MVFST-RL等)或效益函数(在线学习，如PCC、Vivace等)，然后在基于此调整发送速率。研究人员Arun等(VenkatArun,Hari Balakrishnan.Copa:Practical Delay-Based Congestion Control for theInternet.Proceedings of the Applied Networking Research Workshop)提出了一种基于队列时延的拥塞控制方法Copa，该方法首先探测当前队列时延d_q，然后将发送速率调整为1/(δd_q)，其中δ为系统参数。该方法不适用于队列较短的网络。Dong等(Mo Dong,QingxiLi,Doron Zarchy,P.Brighten Godfrey,Michael Schapira.PCC:Re-architectingCongestion Control for Consistent High Performance.in USENIX NSDI 2015)提出了一种基于在线学习的拥塞控制方法PCC，该方法采用固定的偏好设置对发送速率、时延进行加权计算效益，并根据效益变化对发送速率进行微调，这种采用固定偏好的方法无法普适于所有网络环境，不适用于异构的天地一体化网络。此外，Jay等(Nathan Jay,NogaH.Rotman,P.Brighten Godfrey,Michael Schapira,and Aviv Tamar.InternetCongestion Control via Deep Reinforcement Learning.In NIPS 2018)提出了一种基于强化学习的拥塞控制方法，该方法采用固定偏好设置，将吞吐、时延以及丢包率加权构造奖励函数，训练强化学习模型调整发送端发送窗口大小，与PCC方法类似，这种采用固定偏好的方法不适用于异构的天地一体化网络。