[发明专利]多路径拥塞控制方法及装置

权利要求书

1.一种多路径拥塞控制方法，其特征在于，包括：

实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；

若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，使得各个子流分别异步查询自身的动作，并收集除自身外的其他子流的信息，各个子流分别根据除自身外的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使各个所述子流分别基于各自获取的多子流奖励和所述单子流强化学习模型对目标网络的数据传输进行符合公平性原则的拥塞控制；

若所述目标网络当前未处于非阻塞状态，则将所述目标网络的拥塞控制模式切换至并存模式，以基于该并存模式对所述目标网络的数据传输进行拥塞控制；

其中，所述并存模式包括：作为主模式的启发式MPTCP决策方式和作为辅助模式的DRL决策方式，该DRL决策方式包括：使用一个单子流强化学习模型应用于MPTCP的各个子流，使得各个子流分别异步查询自身的动作，并收集除自身外的其他子流的信息，各个子流分别根据除自身外的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使各个所述子流分别基于各自获取的多子流奖励和所述单子流强化学习模型对目标网络的数据传输进行符合公平性原则的拥塞控制。

2.根据权利要求1所述的多路径拥塞控制方法，其特征在于，所述单子流强化学习模型的输入包括当前的环境信息，所述单子流强化学习模型的输出包括子流对窗口的独立调整参数；

所述环境信息包括：根据各个所述子流的状态加权平均数据获取的带宽、滑动窗口、往返时间RTT和该往返时间RTT的平均偏差。

3.根据权利要求1所述的多路径拥塞控制方法，其特征在于，还包括：

在所述MPTCP的各个子流中择一作为目标子流；

应用除所述目标子流之前的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使所述目标子流基于所述多子流奖励训练深度强化学习模型；

将所述单子流强化学习模型复制至其他子流以进行迭代训练，直至所述强化学习模型收敛，得到用于在多路径中进行单子流的公平性拥塞控制的单子流强化学习模型。

4.根据权利要求1所述的多路径拥塞控制方法，其特征在于，所述实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态，包括：

实时监测当前的包速与模型决策延迟阈值之间的数值比较结果，其中，所述包速包括：数据包的到达拥塞管理器的时间间隔；

若所述数值比较结果显示所述包速等于或大于所述模型决策延迟阈值，则判定所述目标网络当前处于非阻塞状态；

若所述数值比较结果显示所述包速小于所述模型决策延迟阈值，则判定所述目标网络当前未处于所述非阻塞状态。

5.根据权利要求4所述的多路径拥塞控制方法，其特征在于，还包括：

在所述目标网络的拥塞控制模式切换至所述并存模式后，实时监测到所述包速是否在预设时间段内连续小于所述模型决策延迟阈值；

若是，则将所述目标网络的拥塞控制模式从所述并存模式切换至非阻塞模式，以使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。