[发明专利]一种车联网中基于边缘计算和深度强化学习的动态服务放置方法

说明书

本发明公开一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，包括以下步骤：1)建立网络与服务请求模型，获取网络与服务请求相关信息；2)建立网络与服务请求计算模型；3)构建状态空间、动作空间、策略函数和奖励函数；4)构建演员网络和批评家网络，并对演员网络和批评家网络进行训练；5)演员网络生成服务放置策略，并输入到批评家网络中；6)所述批评家网络评估服务放置策略的策略质量，若评估不通过，则更新演员网络参数，并返回步骤5)，若评估通过，则输出服务放置策略。本发明在考虑车辆的移动性、变化的需求和对不同类型服务请求的动态性的同时，最小化最大的边缘资源使用和服务延迟。

技术领域

本发明涉及车联网领域，具体是一种车联网中基于边缘计算和深度强化学习的动态服务放置方法。

背景技术

车联网是由车辆位置、速度和路线等信息构成的交互网络。通信技术的迅速发展为目前的车联网领域带来了许多新的可能性。其中，第五代移动通信技术的出现让车联网变得更加智能化，服务覆盖范围也进一步的扩大。但是，随着车联网领域中智能语音助手和自动驾驶等延迟敏感性应用成为了目前最流行的应用，传统云计算范式逐渐无法满足用户的需求。欧洲电信标准协会将移动边缘计算引入了车联网领域中，扩展了云计算的存储资源和计算资源，使其更接近用户，满足了用户对于智能应用的高可靠性、低延迟性、安全性等要求。

在车联网中，车辆与基础设施进行通信，以获得媒体下载、合作消息、去中心化环境通知消息等服务，从而在远程驾驶、停车位发现、导航等应用中实现协调。在边缘计算范式中可以在边缘服务器上部署多个服务，充分利用计算资源和存储资源。服务放置是车联网领域的研究热点之一。具体地说，服务放置是将服务映射至车联网中的边缘服务器，以满足所请求服务的需求，同时高效地使用边缘资源。从用户的角度来看，将车辆感知服务的延迟降至最低是十分重要的。从服务提供商的角度来看，要满足最大化边缘资源使用率，同时尽可能保持服务器之间的资源负载平衡。

发明内容

本发明的目的是提供一种车联网中基于边缘计算和深度强化学习的动态服务放置方法，包括以下步骤：

1)建立网络与服务请求模型，获取网络与服务请求相关信息；

所述网络与服务请求相关信息包括边缘服务器信息、车辆信息、服务信息；

所述边缘服务器信息包括边缘服务器集合E，边缘服务器e，边缘服务器e的剩余资源容量C_e；

所述车辆信息包括车辆集合V。

所述服务信息包括服务集合S、请求服务s的车辆数量λ_s、一次可以处理一个服务实例(如车联网环境中的媒体文件下载、合作意识消息和环境通知服务等)或可以提供并行连接的车辆数量ε、服务请求消息中指定时间t和车辆位置loc、边缘服务器部署服务s所消耗的资源量R_s、时延需求阈值D_s。

2)建立网络与服务请求计算模型；

所述网络与服务请求计算模型包括总服务时延计算模型、边缘资源使用率计算模型；

总服务时延计算模型如下所示：

式中，为总服务时延；为传播时延和排队时延；dist(v,s)为车辆v与服务s部署的边缘服务器之间的欧氏距离；c为信号通过通信介质的传播速度；

当请求服务s的车辆数量λ_s≤ε时，排队时延当请求服务s的车辆数量λ_s＞ε时，排队时延满足下式：

式中，数量差λ′_s＝λ_s-ε；

传播时延如下所示：