[发明专利]基于强化学习的多径TCP传输调度方法

说明书

本发明涉及一种基于强化学习的多径TCP传输调度方法。该方法研究多径TCP传输调度机制的特点，采用建立强化学习模型、训练模型、部署模型的方式对多径TCP传输调度进行控制，在训练完成的强化学习模型部署在发送端主机之后，能够准确的预测和调度传输中需要预留的数据包数目N。本发明相对传统的多径TCP调度方法，能够更加准确的预测传输调度中需要预留的数据包数目N，并且时间开销相对更小，多径TCP传输的数据包乱序度更低。

技术领域

本发明涉及一种基于强化学习的多径TCP传输调度方法。

背景技术

随着网络的不断发展，人们对网络传输的要求和期望越来越高，因此近年来涌现了一批新的协议用于网络的多径传输，以提高网络传输的效能。多径TCP协议就是一种基于TCP协议的多径网络传输协议，它的目的是能在保证TCP传输的有序性情况下，利用多径传输加快TCP传输的速率。多径TCP协议会为一个TCP传输请求产生多条子TCP连接用于传输TCP数据流，然而要使得数据包能够通过所有子TCP连接进行传输并能够保证在接收终端不产生大量数据包乱序，则要对多径TCP传输时的数据包调度进行控制。主要是考虑到各条子链路的传输条件，合理分配TCP数据包进行传输，保证在不同链路上传输的数据包在接收终端按序到达。

现有较为常用的FPS、F2P-DPS、OCPS三种多径TCP调度算法，其中OCPS是对前两种算法种存在对不足进行改进。FPS，提出根据每一轮数据的往返的RTT和排队时延情况，预测数据包到达的序号情况，从而来调度TCP子流的发送队列。F2P-DPS则在FPS的基础上增加考虑了链路的丢包情况，使得该调度策略更适合于无线传输网络。OCPS认为FPS和F2P-DPS都只是单纯的预测算法，在实际中链路传输还存在许多不确定因素会导致链路传输质量的变动，为了防止多轮调度后的误差累计，提出使用子流级别的TCP选择性应答(SelectiveAcknowledgement,SACK)判断当前接收端乱序情况。发送端可以根据TCP SACK来判断，上一轮调度预留给其他子流数据包是过多还是过少，再通过类似TCP慢启动的方式产生一个修正因子，对下一轮调度进行修正。OCPS在FPS和F2P-DPS的基础上，进一步增加了调度预测的准确和可靠性。然而，OCPS采用了类似TCP慢启动的方式产生修正因子，这样就导致要经过若干轮之后修正因子才可能达到比较合理的值，而这需要消耗一定时间，才能够使得多径TCP传输的吞吐率和乱序度达到一个稳定的、相对较优的值。因此我们在OCPS的基础上提出了一种基于强化学习的多径TCP调度方法，能够在相对较短时间内能够使得多径TCP的吞吐率和乱序度达到一个稳定的、相对较优的值。

发明内容

本发明的目的在于提供一种基于强化学习的多径TCP传输调度方法，该方法能够更加准确的预测传输调度中需要预留的数据包数目N，并且时间开销相对更小，多径TCP传输的数据包乱序度更低。

为实现上述目的，本发明的技术方案是：一种基于强化学习的多径TCP传输调度方法，包括构建强化学习模型阶段、训练强化学习模型阶段、部署强化学习模型阶段；构建强化学习模型阶段，需要根据强化学习基础模型和多径TCP传输调度环境的需求确定四要素：智能体、环境状态、行动、奖励；训练强化学习模型阶段，将强化学习模型部署至多径TCP运行环境中，具体即将强化学习模型部署在通信的发送端主机的多径TCP层上，使用强化学习训练算法对强化学习模型进行训练；部署强化学习模型阶段，按照训练强化学习模型阶段的部署的方案进行部署；该方法具体包括如下步骤：

步骤S1、确定在多径TCP传输调度环境下强化学习模型的目标；

步骤S2、确定强化学习模型中智能体的组成部分；

步骤S3、确定强化学习模型中的环境状态、行动、奖励，以及相关计算反馈公式；

步骤S4、将强化学习模型部署至通信的发送端主机的多径TCP层上，使用强化学习训练算法进行训练；

步骤S5、根据实际拓扑，将训练完成的强化学习模型部署至多径TCP的发送终端实际运行。