[发明专利]基于深度循环强化学习的网络边缘缓存方法、装置及设备

说明书

本发明提供一种基于深度循环强化学习的网络边缘缓存方法、装置及设备，在该方法中，通过采集获取当前时隙之前的连续多个时隙的系统状态信息，将多个时隙的系统状态信息输入深度循环神经网络中进行缓存动作选择处理，得到目标缓存动作，根据目标缓存动作执行缓存替换操作。其中深度循环神经网络是预先训练的用于根据多个连续时隙的系统状态信息确定缓存动作的计算模型，本方案中的深度循环神经网络利用多个连续时隙系统状态信息中的内容流行度进行计算，并且在缓存动作选择时考虑到缓存时间和缓存替换时从相邻边缘服务器获取还是从远程云数据中心获取，提高了缓存准确率，降低了缓存超时存储成本和缓存替换成本。

技术领域

本发明涉及边缘计算和深度学习技术，尤其涉及一种基于深度循环强化学习的网络边缘缓存方法、装置及设备。

背景技术

随着第五代移动通信技术(5th Generation Mobile CommunicationTechnology，简称：5G)的发展，互联网接入设备和网络流量日益增多，边缘服务器通过边缘缓存提供计算和缓存服务，可以有效减缓回程链路的拥塞和延迟。

现有技术中，边缘缓存是通过采集系统信息，使用最近最少使用(Least RecentlyUsed，简称：LRU)算法进行缓存动作选择，即选择将上一时隙用户访问内容与边缘缓存服务器中最近最少使用的缓存内容进行替换的缓存动作，边缘服务器根据缓存动作执行缓存替换操作。若内容流行度发生变化，则边缘服务器中的缓存内容会与用户想要访问的内容有较大差别。

综上所述，现有的边缘缓存方法使用的LRU算法是一种静态方法，采用的是上一时隙用户访问内容进行缓存替换的，当内容流行度发生变化时，目前采用的边缘缓存方法使用的边缘服务器中的缓存内容仍是之前用户的访问内容，与用户想要访问的内容不同，之后边缘缓存服务器只能从相邻服务器或者云数据中心获取内容进行缓存替换，再将内容发送给用户，导致缓存准确率较低，缓存超时存储成本较高，缓存替换成本较高。

发明内容

本发明实施例提供一种基于深度循环强化学习的网络边缘缓存方法、装置及设备，用于解决现有技术中缓存准确率较低，缓存超时存储成本较高，缓存替换成本较高的问题。

第一方面，本发明实施例提供一种基于深度循环强化学习的网络边缘缓存方法，应用于边缘服务器，所述方法包括：

采集获取当前时隙之前的连续多个时隙的系统状态信息，每个时隙对应的系统状态信息包括所述时隙的内容流行度和所述边缘服务器缓存的内容；

将所述多个时隙的系统状态信息输入深度循环神经网络中进行缓存动作选择处理，得到目标缓存动作；其中，所述深度循环神经网络是预先训练的用于根据多个连续时隙的系统状态信息确定缓存动作的计算模型；

根据所述目标缓存动作执行缓存替换操作。

在一种具体的实施方式中，所述采集获取当前时隙之前的连续多个时隙的系统状态信息之前，所述方法还包括：

从重放缓冲池中获取预设数量的训练数据，所述重放缓冲池中包括预先获取的多组训练数据，每组训练数据中包括一时隙之前采集的多个连续时隙的系统状态信息，边缘服务器执行的缓存动作，所述缓存动作对应的奖励值以及所述时隙的下一个时隙系统状态；

根据所述预设数量的训练数据以及初始神经网络进行模型训练直至损失值小于预设阈值，得到所述深度循环神经网络。

在一种具体的实施方式中，从重放缓冲池中获取预设数量的训练数据之前，所述方法还包括：

针对多个采集时隙中的每个时隙，采集所述时隙之前多个连续时隙的系统状态信息；

随机选择一个随机数，若所述随机数大于预设的初始选择因子，则根据所述多个连续时隙的系统状态信息和初始神经网络选择一个缓存动作；

执行所述缓存动作，获取对应的奖励值和所述时隙的下一个时隙的系统状态；