[发明专利]真实网络环境中缓存分配模型的获取方法、装置及系统

权利要求书

1.一种真实网络环境中缓存分配模型的获取方法，其特征在于，所述方法包括：

在交换机中加载可加载的强化学习模型；所述交换机用于实现服务端和客户端之间的数据传输；

当所述数据传输触发预设分配条件时，利用所述可加载的强化学习模型获取所述交换机的缓存阈值，进行缓存分配；

存储本次触发对应的缓存分配所利用的统计信息和所利用的缓存阈值，以及历史触发所利用的强化学习模型对应的奖励值，得到所述本次触发产生的训练数据；其中，所述历史触发所利用的强化学习模型对应的奖励值，为基于所述历史触发至所述本次触发之间的时间间隔内，进行所述数据传输产生的丢包率和吞吐量获得的数值；

利用所述本次触发产生的训练数据，训练待训练的强化学习模型，获得并保存可加载的强化学习模型；

如果所保存的可加载的强化学习模型的个数不满足预设数量条件，返回执行所述在交换机中加载可加载的强化学习模型，否则，从所保存的多个可加载的强化学习模型中，选择对应的奖励值满足预设奖励值条件的可加载的强化学习模型，作为缓存分配模型；

其中，所述存储本次触发对应的缓存分配所利用的统计信息和所利用的缓存阈值，以及历史触发利用的强化学习模型对应的奖励值，得到所述本次触发产生的训练数据，包括：

收集所述数据传输触发预设分配条件时，所述交换机的所有端口产生的统计信息；

获取所述本次触发对应的缓存分配所利用的缓存阈值，以及所述历史触发所利用的所述奖励值；

组装并存储所收集的统计信息，所获取的缓存阈值以及所获取的奖励值，得到所述本次触发产生的训练数据。

2.根据权利要求1所述的方法，其特征在于，所述奖励值采用如下步骤获得：

获取所述本次触发与所述历史触发之间的时间间隔；

统计所述时间间隔内，进行所述数据传输的丢包率和吞吐量；

将所述丢包率和所述吞吐量，作为所述奖励值。

3.根据权利要求1所述的方法，其特征在于，所述利用所述本次触发产生的训练数据，训练待训练的强化学习模型，获得并保存可加载的强化学习模型，包括：

获取所述本次触发产生的训练数据；

将所述本次触发产生的训练数据输入所述待训练的强化学习模型，进行对所述待训练的强化学习模型的训练；

当向所述待训练的强化学习模型输入训练数据的次数等于预设次数时，保存最后一次输入训练数据进行训练得到的强化学习模型，作为可加载的强化学习模型。

4.根据权利要求1所述的方法，其特征在于，所述预设分配条件，包括：

在所述数据传输中，所述交换机的任一端口接收的数据量与该端口发送的数据量之间的差异值，大于差异阈值，或者，所述交换机的任一端口丢失的数据量大于预设丢失阈值。

5.根据权利要求1所述的方法，其特征在于，所述从所保存的多个可加载的强化学习模型中，选择对应的奖励值满足预设奖励值条件的可加载的强化学习模型，作为缓存分配模型，包括：

对所保存的多个可加载的强化学习模型，进行按照每个可加载的强化学习模型对应的奖励值从大到小的顺序排序；

将排在前指定数量位的可加载的强化学习模型，作为缓存分配模型。