[发明专利]基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法

说明书

本发明提出一种基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法，根据无线信道的时变性，采用基于深度强化学习的在线框架，联合优化各个车辆终端的卸载决策、车辆本地计算能力、车辆数据传输功率、信道时隙资源分配决策以及边缘服务器的计算资源分配决策，最小化系统计算时延，得到最优的卸载决策。本发明相较于传统的启发式算法，因采用深度强化学习，同时有着深度学习的强大计算能力和强化学习的自主学习能力，能够在高动态变化的车联网环境下自动的更新卸载策略。不仅能够在无线信道时变环境下能够快速收敛至最优卸载策略；当各个车辆终端的权重发生变化时，还可以自动调整卸载策略并快速收敛到新的最优卸载策略，具有较强的鲁棒性。

技术领域

本发明涉及移动边缘计算领域，特别涉及一种基于深度强化学习的车辆边缘计算场景中的智能在线卸载方法。

背景技术

近年来，随着车联网技术的不断发展和汽车保有量的不断增加，大量的车载应用和多媒体服务相继出现，它们对于服务质量、用户体验以及系统开销这些方面的要求越来越高，导致对于计算能力以及能量消耗等资源的需求越来越大，车辆本身所含有的计算资源与能量存储还不能够很好地胜任目前新型车载应用中广泛存在的计算密集、时延敏感等类型的任务，在解决计算资源不足的问题方面，计算卸载成为了车联网中的一个热门研究话题。

所谓计算卸载技术是指将计算任务传输也就是“卸载”到具有空闲资源的服务器上进行计算并将计算结果传回，从而解决计算资源不足的问题。目前云计算是比较成熟的计算卸载方法，将计算任务卸载到云端进行计算，但是由于云端与车辆之间的传输时延过大，因此云计算并不适用于车辆场景。

移动边缘计算是在此基础上的技术，其将计算任务卸载到距离更近的边缘服务器上进行计算，相应的，在车辆场景中，将移动边缘计算与车联网相结合就是车载边缘计算(Vehicular Edge Computing,VEC)。车载边缘计算(Vehicular Edge Computing,VEC)是目前被予以厚望的一种提高车载应用性能的有效方法，通过将车联网与移动边缘计算(Mobile Edge Computing,MEC)相结合，可以有效降低车辆终端在计算任务时产生的时延和能耗。尽管如此，由于车辆电池寿命和容量受限，仍难以长期保证车载应用的性能。

无线能量传输(Wireless Power Transfer，WPT)是指能量从能量源传输到电负载的一个过程，这个过程通过无线传输实现，而不是采用传统的有线方式来实现。以空气为介质，能量源向无线设备传输能量从而保证无线设备有着充足的能量来处理各种任务。最新的研究说明了无线能量传输技术的可行性。

因为车辆电池寿命和能量受限，本发明考虑将无线能量传输技术加进来，通过移动边缘服务器向车辆传输能量，进一步降低车辆能耗。将无线能量传输技术与VEC网络相结合，边缘服务器能以无线传输的方式为车辆补充能量，从而保障并提高车载应用的性能和用户的服务体验，这便是无线供电移动边缘计算技术。而在无线衰落环境下，在多用户场景中，一个主要挑战是联合优化单个计算模式(卸载或本地计算)和无线资源分配，由于存在二进制卸载变量，这类问题通常被建模为混合整数规划(Mixed Integer Programming，MIP)问题。针对该问题，使用传统的分支定界算法和动态规划来解决MIP问题，有着极高的计算复杂度，无法适用于实时变化的应用环境；而启发式局部搜索方法和凸松弛方法能够降低计算复杂度，但都需要大量的迭代才能够达到满意的局部最优，也不适合在快速衰落信道中做出实时卸载决策。

发明内容

针对包含一个边缘服务器和多个车辆终端的无线供电移动边缘计算网络，本发明提出一种基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法，根据无线信道的时变性，采用基于深度强化学习的在线框架，联合优化各个车辆终端的卸载决策、车辆本地计算能力、车辆数据传输功率、信道时隙资源分配决策以及边缘服务器的计算资源分配决策，最小化系统计算时延，得到最优的卸载决策。

本发明的技术方案为：