[发明专利]支持D2D通信的分层无线网络下的边缘协作缓存方法

权利要求书

1.一种支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，包括：

根据内容请求查看本设备的本地缓存中是否包含请求内容，其中本设备为接收所述内容请求的设备；

如果包含，则命中所述请求内容；如果不包含，则基于深度强化学习算法进行路由选择以命中所述请求内容；

命中所述请求内容后更新所述深度强化学习算法的模型。

2.根据权利要求1所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述基于深度强化学习算法进行路由选择以命中所述请求内容包括：

将内容请求转发到D2D通信范围内的其他一台或多台设备，查看接收到所述内容请求的设备是否包含所述请求内容；

如果包含，则命中所述请求内容；如果不包含，则将请求转发至相邻基站以命中所述请求内容；

本设备缓存替换命中所述请求内容。

3.根据权利要求2所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述缓存命中所述请求内容之前还包括：

检测本地缓存是否已满；

若是，则先缓存配置算法，再进行下一步；若否，则直接进行下一步。

4.根据权利要求3所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述缓存替换命中所述请求内容由所述深度强化学习算法的模型控制。

5.根据权利要求1-4任一项所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述深度强化学习算法包括：

获得本设备的当前状态；

针对当前状态，从Q-Table中选择奖励值最高的动作，并执行该动作；

进入下一状态，根据下一状态的命中率情况和奖惩函数对当前状态的所述动作进行奖惩；

根据所述奖惩更新Q-Table。

6.根据权利要求5所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，根据下一状态的命中率情况和奖惩函数对动作进行奖惩包括：

若所述动作合理，即所述下一状态的命中率提升，则对该动作进行奖励；

若所述动作不合理，即所述下一状态的命中率下降，则对该动作进行惩罚。

7.根据权利要求6所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述奖惩函数为：

其中，χ_i为当前状态；Φ(χ_i)为动作空间；为奖励函数；为惩戒函数；为请求通过D2D链路处理；表示请求通过蜂窝链路处理。

8.根据权利要求7所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，通过DQN中的神经网络来近似估计近似的值函数其包括：

用神经网络的方法来估计值函数：

用方差公式来定义损失函数，并使用梯度下降GD来更新参数；

Agent获取所有的Q(χ，Φ)，并利用∈-greedy选择Φ并做出决策。

9.根据权利要求5所述的支持D2D通信的分层无线网络下的边缘协作缓存方法，其特征在于，所述当前状态包括：当前请求内容和当前缓存情况。