[发明专利]一种基于强化学习的交换机共享缓存分配方法及装置

权利要求书

1.一种基于强化学习的交换机共享缓存分配方法，其特征在于，所述方法包括：

当交换机的任一端口触发缓存分配条件时，获取所述交换机的各端口的待缓存数据的数据量，所述各端口对所述交换机的缓存池的当前占用量，以及所述缓存池的当前空闲缓存空间的大小，作为所述交换机的状态信息；

基于所述交换机的状态信息，利用预先训练得到的强化学习模型，获取触发所述缓存分配条件的待分配端口的缓存阈值；其中，所述强化学习模型为利用多个样本状态信息，以及每个样本状态信息对应的样本奖励值训练得到的神经网络；

基于所述缓存阈值，为所述待分配端口进行缓存分配；

所述强化学习模型，包括：输入层，与所述输入层连接的卷积层，与所述卷积层连接的全连接层，以及与所述全连接层连接的输出层；

所述输入层，用于接收输入所述强化学习模型的数据；

所述卷积层，用于提取输入所述强化学习模型的数据的特征；

所述全连接层，用于获取所述各端口的缓存阈值；

所述输出层，用于输出所述全连接层获取的缓存阈值；

在获取所述强化学习模型之前，所述方法还包括：

获取所述交换机的端口的总个数，并按照所述总个数将所述交换机的端口划分为每组包括M个端口的N个分组；

将所述输入层的神经元个数，以及所述输出层的神经元个数分别设置为所述M个；

所述基于所述交换机的状态信息，利用预先训练得到的强化学习模型，获取触发所述缓存分配条件的待分配端口的缓存阈值，包括：

按照所述N个分组，将所述交换机的状态信息划分为所述各端口所属分组的分组状态信息；

针对所述N个分组，将该分组的所述分组状态信息输入所述预先训练得到的强化学习模型，获得该分组的缓存阈值；

基于各分组的缓存阈值以及所述当前空闲缓存空间的大小，为各分组进行缓存分配，得到该分组的缓存空间大小；

针对所述N个分组，将该分组的缓存空间大小，该分组中各端口的待缓存数据的数据量，以及该分组中各端口对所述交换机的缓存池的当前占用量，输入所述预先训练得到的强化学习模型，获得触发所述缓存分配条件的待分配端口的缓存阈值；

所述强化学习模型采用如下步骤训练得到：

获取多个样本状态信息；

利用所述多个样本状态信息对神经网络模型进行训练，获得每个样本状态信息对应的样本缓存阈值；

利用每个样本缓存阈值，获取该样本缓存阈值对应端口的丢包率，作为该样本状态信息对应的样本奖励值；

当所述样本奖励值满足预设最小化条件时，将经过训练的神经网络模型作为所述强化学习模型，否则，调整进行训练的神经网络模型的参数，并重复对调整后的神经网络模型进行训练和参数调整的过程，直到所述样本奖励值满足预设最小化条件。

2.根据权利要求1所述的方法，其特征在于，所述预设最小化条件包括：

其中，所述r为预设最小化条件，T为本次缓存分配和下一次缓存分配之间的时间间隔，K为所述交换机的端口总个数，为第i个端口在第t个时刻的样本丢包率。

3.根据权利要求1所述的方法，其特征在于，所述缓存分配条件，包括：

交换机任一端口接收的数据量大于该端口的线速；

所述交换机的任一端口触发缓存分配条件，包括：

检测到交换机的任一端口满足所述缓存分配条件，且本次检测到满足所述缓存分配条件与上一次检测到满足所述缓存分配条件之间的时间间隔，大于最小间隔阈值时，判定所述交换机的任一端口触发缓存分配条件。