[发明专利]一种物联网暂态数据的缓存替换方法及系统

权利要求书

1.一种物联网暂态数据的缓存替换方法，其特征在于，当前边缘缓存节点的缓存空间已满，该方法包括以下步骤：

S1.边缘缓存节点接收到用户发出的新的暂态数据项请求；

S2.判断请求的暂态数据项内容是否在边缘缓存节点的缓存中，若是，进入步骤S3，否则，进入步骤S6；

S3.判断请求的暂态数据项是新鲜数据还是过期数据，若是新鲜数据，进入步骤S4，若是过期数据，进入步骤S5；

S4.直接从边缘缓存节点的缓存区读取该数据，将该数据转发给用户；

S5.边缘缓存节点将用户请求转发给数据源，从数据源处读取新数据，用新数据替换边缘缓存节点的缓存区中该过期数据，并将该新数据转发给用户；

S6.边缘缓存节点将用户请求转发给数据源，从数据源处读取新数据，使用深度增强学习选择边缘缓存节点的缓存区中待替换的数据，用新数据替换该待替换的数据，并将该新数据转发给用户；

步骤S6中所述使用深度增强学习选择边缘缓存节点的缓存区中待替换的数据，具体包括：

1)在n时刻，观察边缘缓存节点状态信息，得到n时刻状态s_n；

2)根据缓存策略π(a_n|s_n)选择缓存动作a_n并执行该缓存动作；

3)执行缓存动作a_n后，计算即时奖励r_n，边缘缓存节点状态信息由s_n变为s_n+1；

4)将即时奖励r_n反馈到边缘缓存节点，并将本次状态转换过程s_n,a_n,r_n,s_n+1作为训练样本，用于训练深度增强学习的行动者-评论家网络，重复上述过程；

深度增强学习中行动者网络参数θ的依照梯度上升更新为：

其中，λ为行动者网络的学习速率，表示梯度算符，策略π(a_n|s_n；θ)表示在状态s_n下，选择缓存替换动作a_n的概率，为优势函数，γ∈[0，1]表示折扣系数，表示状态-价值函数；深度增强学习中评论家网络的网络参数θ_v依照梯度下降更新为：其中，λ′为评论家网络的学习速率；

或者，深度增强学习中行动者网络参数θ的依照梯度上升更新为：其中，λ为行动者网络的学习速率，表示梯度算符，策略π(a_n|s_n；θ)表示在状态s_n下，选择缓存替换动作a_n的概率，为优势函数，γ∈[0，1]表示折扣系数，表示状态-价值函数；H(π(·|s_n；θ))是状态s_n下、策略π_θ输出的动作空间的策略熵，β表示探索系数；深度增强学习中评论家网络的网络参数θ_v依照梯度下降更新为：其中，λ′为评论家网络的学习速率。

2.如权利要求1所述的缓存替换方法，其特征在于，步骤S2中，若f_k∈F_k，则请求的数据项内容在边缘缓存节点的缓存中，若则请求的数据项内容不在边缘缓存节点的缓存中，其中，f_k为数据项请求k对应的数据内容唯一标识符CID，F_k为请求k到达时边缘缓存节点中缓存的数据项对应的CID集合。

3.如权利要求1所述的缓存替换方法，其特征在于，步骤S3中，若t_age(p(f_k))≤T_life(p(f_k))，则请求的数据项是新鲜数据，若t_age(p(f_k))＞T_life(p(f_k))，则请求的数据项是过期数据，其中，f_k为数据项请求k对应的CID，p(·)为从请求内容CID到数据项的映射函数，T_life(·)为数据项的有效生命周期，t_age(·)表示数据项的年龄。