[发明专利]多路径拥塞控制方法及装置

说明书

本申请提供一种多路径拥塞控制方法及装置，方法包括：实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；若目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。本申请能够实现强化学习模型DRL在基于多路径传输控制协议MPTCP的网络拥塞控制中的应用，能够有效提高多路径拥塞控制的及时性及可靠性；并能够有效避免阻塞对目标网络中数据传输性能带来的影响，提高拥塞控制的智能化程度，进而能够有效保证基于多路径传输控制协议的目标网络的运行稳定性，更适用于高速网络。

技术领域

本申请涉及拥塞控制CC技术领域，尤其涉及多路径拥塞控制方法及装置。

背景技术

拥塞控制CC(Congestion Control)一直是网络中基石问题。从多路径传输控制协议MPTCP(Multipath TCP)出现以来，就诞生了很多MPTCP的拥塞控制CC算法。这些算法大多数是基于TCP CC协议扩展而来，但这些变体算法也都或多或少继承了TCPCC协议的缺点，即根据环境信号调节拥塞窗口，若出现错误信号则会造成严重的性能下降。而为了解决这一问题，随着机器学习ML的快速发展，深度强化学习DRL(DeepReinforcement Learning)模型也逐渐被广泛应用于网络拥塞控制CC中。

然而，现有的多路径拥塞控制方式中，由于现实应用状态下，每个MPTCP的子流数目是不确定的，因此子流数目限制了基于深度强化学习的拥塞控制算法的应用；以及，另一类基于学习的拥塞控制方案采用在线最优化求解理论，将其扩展到多路径使得每条子流使用在线学习框架决策发送速率，因此会导致基于在线学习理论的强化学习算法收敛较慢的问题；另外，深度强化学习DRL决策的间隔时间无法确定，不同的设备和操作系统决策时间将会不同，使得DRL决策可能会阻塞数据包，这导致其无法应用于高速网络。

发明内容

鉴于此，本申请实施例提供了多路径拥塞控制方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。

本申请的一个方面提供了一种多路径拥塞控制方法，包括：

实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；

若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。

在本申请的一些实施例中，还包括：

若所述目标网络当前未处于非阻塞状态，则将所述目标网络的拥塞控制模式切换至并存模式，以基于该并存模式对所述目标网络的数据传输进行拥塞控制；

其中，所述并存模式包括：作为主模式的启发式MPTCP决策方式和作为辅助模式的DRL决策方式，该DRL决策方式包括：使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。

在本申请的一些实施例中，所述基于所述MPTCP的各个子流各自对应的单子流强化学习模型对所述目标网络的数据传输进行拥塞控制，包括：

各个子流分别异步查询自身的动作，并收集除自身外的其他子流的信息；

各个子流分别根据除自身外的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使各个所述子流分别基于各自获取的多子流奖励和所述单子流强化学习模型对所述目标网络的数据传输进行符合公平性原则的拥塞控制。

在本申请的一些实施例中，所述单子流强化学习模型的输入包括当前的环境信息，所述单子流强化学习模型的输出包括子流对窗口的独立调整参数；

所述环境信息包括：根据各个所述子流的状态加权平均数据获取的带宽、滑动窗口、往返时间RTT和该往返时间RTT的平均偏差。