[发明专利]拥塞控制模型的训练方法和装置及拥塞控制方法和装置

说明书

本公开关于一种拥塞控制模型的训练方法和装置及拥塞控制方法和装置。所述训练方法包括：利用近端策略优化算法，基于从第一目标网络环境获取的网络状态数据，对拥塞控制模型进行训练，以生成多个训练好的拥塞控制模型；从所述多个训练好的拥塞控制模型中选择一个拥塞控制模型，作为用于第一目标网络环境的拥塞控制模型；其中，所述拥塞控制模型的输入为所述网络状态数据，输出为拥塞窗口大小调节动作。

技术领域

本公开涉及计算机技术领域，更具体地说，涉及一种拥塞控制模型的训练方法和装置及拥塞控制方法和装置。

背景技术

随着5G和移动互联网技术的快速发展和互联网应用程序的快速增加，在为人们带来生活便利和提高体验质量的同时，也对网络性能提出了新的要求。尤其是在计算机网络的拥塞控制方面，需要根据网络的时延变化、超时重传的分组数以及被丢弃的分组的百分数等网络指标，不断调整网络模型的拥塞窗口，进而控制网络链路中的数据包数量，避免网络发生拥塞，使网络的带宽资源得到有效利用，为用户提供高质量的服务体验。计算机网络拥塞控制协议作为网络传输层最重要的协议，能够提高网络吞吐量、降低数据传输时延和降低数据丢包率等网络性能，已成为计算机网络技术领域的研究热点和进一步发展的重要方向。

随着网络服务和应用程序(实时视频、AR/VR、边缘计算、物联网等)的需求越来越高，以及网络用户数量的急剧增加，对网络的性能要求越来越高。而当前普遍使用的TCP拥塞控制协议的性能在不断下降，而且传统TCP的性能在网络吞吐量、时延、数据丢包率以及BDP方面无法满足快速发展的网络拓扑结构的变化，影响了网络的发展。随着5G技术的飞速发展，网络环境将变得更加复杂和多样化。拥塞控制协议是避免网络拥塞并改善网络服务的重要方法，它对网络性能和服务质量(QoS)有非常重要的影响。如果现有的拥塞控制技术不加以改进优化，未来将会产生更严重的网络拥塞。除此之外，现有的拥塞控制协议由于其不可迁移性，当面对不同的网络场景时，无法为各种网络场景提供所需的性能。

发明内容

本公开提供一种拥塞控制模型的训练方法和装置及拥塞控制方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种拥塞控制模型的训练方法，包括：利用近端策略优化算法，基于从第一目标网络环境获取的网络状态数据，对拥塞控制模型进行训练，以生成多个训练好的拥塞控制模型；从所述多个训练好的拥塞控制模型中选择一个拥塞控制模型，作为用于第一目标网络环境的拥塞控制模型；其中，所述拥塞控制模型的输入为所述网络状态数据，输出为拥塞窗口大小调节动作。

可选地，所述训练方法还可包括：从所述多个训练好的拥塞控制模型中选择至少一个拥塞控制模型；利用微调算法，将所述至少一个拥塞控制模型在第二目标网络环境下进行训练；将训练好的所述至少一个拥塞控制模型中的一个拥塞控制模型作为用于第二目标网络环境的拥塞控制模型。

可选地，所述网络状态数据可包括网络时延、传送率、发送率和拥塞窗口大小。

可选地，所述利用近端策略优化算法，基于从第一目标网络环境获取的网络状态数据，对拥塞控制模型进行训练，可包括：针对每个训练回合执行以下操作：每隔预定步长，基于从第一目标网络环境获取的网络状态数据，利用目标函数，对所述拥塞控制模型的参数进行更新，直到该训练回合结束，其中，所述目标函数是预先设计的用于对所述拥塞控制模型进行训练的函数；在该训练回合结束时，生成一个拥塞控制模型；其中，在下一个训练回合开始时，将其上一个训练回合生成的拥塞控制模型作为初始拥塞控制模型。