[发明专利]一种基于强化学习的交换机共享缓存分配方法及装置

说明书

本发明实施例提供了一种基于强化学习的交换机共享缓存分配方法及装置，包括当交换机的任一端口触发缓存分配条件时，获取所述交换机的各端口的待缓存数据的数据量，所述各端口对所述交换机的缓存池的当前占用量，以及所述缓存池的当前空闲缓存空间的大小，作为所述交换机的状态信息；基于所述交换机的状态信息，利用预先训练得到的强化学习模型，获取触发所述缓存分配条件的待分配端口的缓存阈值；其中，所述强化学习模型为利用多个样本状态信息，以及每个样本状态信息对应的样本奖励值训练得到的神经网络；基于所述缓存阈值，为所述待分配端口进行缓存分配。本方案可以兼顾交换机的缓存分配的公平性，以及交换机的数据传输性能。

技术领域

本发明涉及缓存分配技术领域，特别是涉及一种基于强化学习的交换机共享缓存分配方法及装置。

背景技术

共享缓存交换机是目前网络中常用的一种交换机，这种交换机中用于发送数据的各个端口共用交换机的缓存池。具体的，当突发流量的到达速率超过端口服务速率一定限度时，端口接收的数据会在缓存池中被积累。

相关技术中，为了实现不同端口对缓存池的共用，可以采用动态阈值(DynamicThreshold，DT)策略。动态阈值策略包括：获取与缓存池的当前空闲缓存空间大小成正比的动态阈值，当任一端口的待缓存数据的数据量大于该动态阈值时，丢弃新到该端口的待缓存数据，不放入缓存池存储。

但是，在具体应用中交换机传输的数据大小往往动态变化，使得不同的端口存在不同的数据传输情况，例如，某一端口数据量突增，其他端口的数据量平缓。此时，其他端口没有占用缓存池，缓存池存在足够的空闲缓存空间可以存储数据量突增的端口的待缓存数据。但由于对不同的端口均使用相同的动态阈值，导致在缓存池有足够的空闲缓存空间的情况下，某些数据量突增的端口的不必要丢包，出现交换机的数据传输性能降低的问题。

发明内容

本发明实施例的目的在于提供一种基于强化学习的交换机共享缓存分配方法及装置，以实现兼顾交换机的缓存分配的公平性，以及交换机的数据传输性能的效果。具体技术方案如下：

第一方面，本申请实施例提供了一种基于强化学习的交换机共享缓存分配方法，所述方法包括：

当交换机的任一端口触发缓存分配条件时，获取所述交换机的各端口的待缓存数据的数据量，所述各端口对所述交换机的缓存池的当前占用量，以及所述缓存池的当前空闲缓存空间的大小，作为所述交换机的状态信息；

基于所述交换机的状态信息，利用预先训练得到的强化学习模型，获取触发所述缓存分配条件的待分配端口的缓存阈值；其中，所述强化学习模型为利用多个样本状态信息，以及每个样本状态信息对应的样本奖励值训练得到的神经网络；

基于所述缓存阈值，为所述待分配端口进行缓存分配。

第二方面，本申请实施例提供了一种基于强化学习的交换机共享缓存分配装置，所述装置包括：

状态信息获取模块，用于当交换机的任一端口触发缓存分配条件时，获取所述交换机的各端口的待缓存数据的数据量，所述各端口对所述交换机的缓存池的当前占用量，以及所述缓存池的当前空闲缓存空间的大小，作为所述交换机的状态信息；

缓存阈值获取模块，用于基于所述交换机的状态信息，利用预先训练得到的强化学习模型，获取触发所述缓存分配条件的待分配端口的缓存阈值；其中，所述强化学习模型为利用多个样本状态信息，以及每个样本状态信息对应的样本奖励值训练得到的神经网络；

缓存分配模块，用于基于所述缓存阈值，为所述待分配端口进行缓存分配。

本发明实施例有益效果：