[发明专利]一种基于策略梯度的公交车辆计算任务卸载方法

说明书

一种基于策略梯度的公交车辆计算任务卸载方法，步骤如下：1)构建公交车辆网络的系统状态，包括公交车辆状态、车联网络通信信道增益的状态和边缘服务器可用的计算能力。2)确定公交车辆网络中的动作，包括边缘服务器为公交车辆分配的计算资源以及边缘服务器为公交车辆分配的信道状态组成。3)确定公交车辆网络中的回报函数，由瞬时通信速率和瞬时计算率组成。4)基于深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)来进行公交车辆网络系统资源分配。本发明综合考虑了公交车辆的移动性、边缘服务器计算资源的有限性、通信覆盖范围的局限性等因素，结合车载边缘计算，最小化公交车辆任务的处理时延，进而提高了任务卸载效率。

技术领域

本发明属于无线通讯技术和边缘计算领域，特别涉及一种车辆任务卸载技术。

背景技术

根据Gartner公司的数据，到2020年，路上的联网车辆将达到25亿辆，使得许多新的车载服务，比如自动驾驶能力，得以实现。在未来五年内，配备此功能的新车的比例将大幅增加，汽车联网在物联网(Internet ofThings,Io T)将占有重要地位。Gartner预测，2015年将有49亿相关产品投入使用，比2014年增长30％，到2020年将达到250亿。近年来，汽车行业正经历着关键性、巨大的变革，许多新型的车载应用和服务、以及观念被提出。例如：自动驾驶服务，安全驾驶和智能交通服务，交通和后勤数字化服务，智能导航，娱乐办公服务等。随着车联网规模的扩大和需求的不断升级，新的问题不断涌现，急需研究和解决。新兴的车载应用大多涉及到视频或图像处理技术，需要强大的数据处理能力。例如，未来的智能导航服务利用增强现实(Augmented Reality，AR)和实时视频流技术。在复杂的十字路口，这种服务能帮助司机提前做出驾驶选择，减轻司机的负担。在提供服务的过程中，需要不断处理周围车辆的传感器信息，数据量十分巨大，任务很难在车载系统上单独处理。

移动边缘计算(mobile edge computing，MEC)从移动云计算演化而来，由欧洲电信标准协会于2014年率先提出，通过将计算资源、网络控制功能、缓存数据部署在微基站和宏基站附近，大大减少数据来回处理时间和移动设备的能耗。在MEC系统中，由于移动设备自身计算能力有限，车辆或用户可以将将计算密集型任务卸载到网络边缘接入点，如基站、无线接入点等，由边缘服务器对任务进行处理，与移动云计算相比，这样做能大大减少数据往返的传输时间。车辆边缘计算(VEC)是指将新兴的移动边缘计算与传统的车辆网络进行结合，将通信、缓存和计算资源移动到接近车辆用户端。VEC有着近距离、超低时延、超高能效、超高可靠性等特点。

深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)是(Deep Q-learning,DQN)的扩展版本，可以扩展到连续动作的控制空间。它在DQN的基础上增加了一层策略网络，用于输出动作值。DDPG中所用到的神经网络，与Actor-Critic形式差不多，也需要有基于策略Policy的神经网络和基于价值Value的神经网络。但是为了体现DQN的思想,每种神经网络都需要再细分为两个。Policy Gradient这边，有估计网络和现实网络，估计网络用来输出实时的动作供actor在现实中实行，而现实网络则是用来更新价值网络系统的。在价值系统这边，也有现实网络和估计网络，他们都在输出这个状态的价值。但在输入端却有所不同，状态现实网络这边会拿着从动作现实网络来的动作加上状态的观测值加以分析，而状态估计网络则是拿着当时actor施加的动作当做输入。

发明内容

本发明要克服现有技术的上述缺点，提供基于策略梯度的公交车辆计算任务卸载方法。本发明综合考虑了公交车辆的移动性、边缘服务器计算资源的有限性、通信覆盖范围的局限性等因素，结合车载边缘计算，最小化公交车辆任务的处理时延，进而提高了任务卸载效率。

本发明的技术方案：

一种基于策略梯度的公交车辆计算任务卸载方法，步骤如下：