[发明专利]真实网络环境中缓存分配模型的获取方法、装置及系统

说明书

本发明实施例提供了一种真实网络环境中缓存分配模型的获取方法、装置及系统。其中，一种真实网络环境中缓存分配模型的获取方法在交换机中加载可加载的强化学习模型；当数据传输触发预设分配条件时，利用可加载的强化学习模型获取交换机的缓存阈值，进行缓存分配；利用本次触发产生的训练数据，训练待训练的强化学习模型，获得并保存可加载的强化学习模型；如果所保存的可加载的强化学习模型的个数不满足预设数量条件，返回执行在交换机中加载可加载的强化学习模型，否则，从所保存的多个可加载的强化学习模型中，选择对应的奖励值满足预设奖励值条件的可加载的强化学习模型，作为缓存分配模型。本方案可以提高缓存分配模型的获取效率。

技术领域

本发明涉及网络缓存分配技术领域，特别是涉及一种真实网络环境中强化学习缓存分配模型的获取方法、装置及系统。

背景技术

交换机中共享缓存的分配用于优化数据在网络中的传输效率。共享缓存分配的目标是动态分配交换机中的共享缓存，最大化的利用共享缓存暂存超过交换机端口传输能力的数据，从而降低通过交换机传输的数据的重传，减少数据传输的完成时间，提高数据在网络中的传输效率。

相关技术中，可以基于深度强化学习进行共享缓存分配。具体的，可以在模拟器，例如NS-3(一种离散事件模拟器)中模拟得到统计信息。统计信息用于表明交换机进行的数据传输情况，例如，交换机传输的数据大小以及丢包率等信息。将得到的统计信息用于训练强化学习模型，进而将训练完成的强化学习模型作为缓存分配模型，加载在交换机上。由此，交换机可以将该交换机当前的统计信息输入深度缓存分配模型，获得共享缓存的缓存阈值，并利用该缓存阈值进行共享缓存的分配。

但是，由于模拟器通常无法真正反映真实网络情况，因此，利用模拟器获取缓存分配模型很可能不够准确。并且，在利用模拟器训练时，为了保证统一和准确性，模拟器通常串行执行步骤，例如，在模拟数据发送时，仅进行数据发送的步骤，无法进行其他步骤，导致训练过程容易出现长久等待上一个步骤执行完成的停等情况，训练效率较低。

发明内容

本发明实施例的目的在于提供一种真实网络环境中强化学习缓存分配模型的获取方法、装置及系统，以实现提高利用训练数据获取的缓存分配模型的准确度，以及缓存分类模型的获取效率的效果。具体技术方案如下：

第一方面，本发明实施例提供一种真实网络环境中缓存分配模型的获取方法，该方法包括：

在交换机中加载可加载的强化学习模型；所述交换机用于实现服务端和客户端之间的数据传输；

当所述数据传输触发预设分配条件时，利用所述可加载的强化学习模型获取所述交换机的缓存阈值，进行缓存分配；

存储本次触发对应的缓存分配所利用的统计信息和所利用的缓存阈值，以及历史触发所利用的强化学习模型对应的奖励值，得到所述本次触发产生的训练数据；其中，所述历史触发所利用的强化学习模型对应的奖励值，为基于所述历史触发至所述本次触发之间的时间间隔内，进行所述数据传输产生的丢包率和吞吐量获得的数值；

利用所述本次触发产生的训练数据，训练待训练的强化学习模型，获得并保存可加载的强化学习模型；

如果所保存的可加载的强化学习模型的个数不满足预设数量条件，返回执行所述在交换机中加载可加载的强化学习模型，否则，从所保存的多个可加载的强化学习模型中，选择对应的奖励值满足预设奖励值条件的可加载的强化学习模型，作为缓存分配模型。

第二方面，本发明实施例提供一种真实网络环境中缓存分配模型的获取装置，所述装置包括：

模型加载模块，用于在交换机中加载可加载的强化学习模型；所述交换机用于实现服务端和客户端之间的数据传输；

缓存分配模块，用于当所述数据传输触发预设分配条件时，利用所述可加载的强化学习模型获取所述交换机的缓存阈值，进行缓存分配；