[发明专利]一种车联网中基于边缘计算和深度强化学习的动态服务放置方法

权利要求书

1.一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，其特征在于，包括以下步骤：

1)建立所述网络与服务请求模型，获取网络与服务请求相关信息。

2)建立网络与服务请求计算模型；

3)构建状态空间、动作空间、策略函数和奖励函数；

4)构建演员网络和批评家网络，并对演员网络和批评家网络进行训练；

5)演员网络生成服务放置策略，并输入到批评家网络中；

6)所述批评家网络评估服务放置策略的策略质量，若评估不通过，则更新演员网络参数，并返回步骤5)，若评估通过，则输出服务放置策略。

2.根据权利要求1所述的一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，其特征在于，所述网络与服务请求相关信息包括边缘服务器信息、车辆信息、服务信息；

所述边缘服务器信息包括边缘服务器集合E，边缘服务器e，边缘服务器e的剩余资源容量C_e；

所述车辆信息包括车辆集合V。

所述服务信息包括服务集合S、请求服务s的车辆数量λ_s、一次可以处理一个服务实例或可以提供并行连接的车辆数量ε、服务请求消息中指定时间t和车辆位置loc、边缘服务器部署服务s所消耗的资源量R_s、时延需求阈值D_s；所述服务实例包括车联网环境中的媒体文件下载、合作意识消息和环境通知服务。

3.根据权利要求1所述的一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，其特征在于，所述网络与服务请求计算模型包括总服务时延计算模型、边缘资源使用率计算模型；

总服务时延计算模型如下所示：

式中，为总服务时延；为传播时延和排队时延；dist(v,s)为车辆v与服务s部署的边缘服务器之间的欧氏距离；c为信号通过通信介质的传播速度；

当请求服务s的车辆数量λ_s≤ε时，排队时延当请求服务s的车辆数量λ_s＞ε时，排队时延满足下式：

式中，数量差λ′_s＝λ_s-ε；

传播时延如下所示：

式中，dist(v,s)为车辆v与服务s部署的边缘服务器之间的欧氏距离；c为信号通过通信介质的传播速度。

边缘资源使用率计算模型如下所示：

边缘资源使用率是服务实例消耗的资源与边缘服务器的可用资源之间的比率，如下所示：

式中，参数C_e为边缘服务器e的剩余资源容量；为边缘资源使用率；R_s为边缘服务器部署服务s所消耗的资源量。

4.根据权利要求1所述的一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，其特征在于，所述状态空间通过状态空间集ω表征，即：

ω＝{[v₁,loc₁,s],[v₂,loc₂,s],...,[v_n,loc_n,s]}_t (6)

式中，s∈S；v₁,v₂,...,v_n为一组车辆集合；loc₁,loc₂,...,loc_n为在t时，请求服务s的车辆位置集合。

5.根据权利要求1所述的一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，其特征在于，所述动作空间用于描述在边缘服务器上放置服务时所采取的动作；

其中，在给定的时刻t所采取的动作a如下所示：

式中，π是在时间单位t对ω的观察集生成动作所需的策略函数；表示服务s部署于边缘服务器e；表示服务s没有部署于边缘服务器e。