[发明专利]一种基于深度Q网络的车载边缘网络任务分发卸载方法

说明书

本发明公开了一种基于深度Q网络的车载边缘网络任务分发卸载方法，首先根据层次分析法对不同车辆终端的计算任务进行优先级划分，从而为计算任务处理速率赋予不同的权重建立关系模型；其次，引入基于深度Q网络的边缘计算方法，以计算任务处理速率加权和为优化目标建立任务卸载模型，建立基于深度Q网络的终端自主最优任务卸载策略，保证卸载决策制定模型的长期稳定性与有效性。本发明通过对车载计算任务的合理分发卸载，有效提高了计算任务的处理速率，从而降低任务执行时延。

技术领域

本发明属于车联网通信技术领域，具体涉及一种基于深度Q网络的车载边缘网络任务分发卸载方法。

背景技术

为了解决车辆终端与车载应用之间的矛盾，车辆上的计算任务可以卸载到RSU配置的MEC服务器上，这样在车辆旁边就能够完成任务的计算及分析过程，部署灵活的MEC服务器上的存储及计算资源可以减小计算任务的处理时间及车辆能耗。目前由于车辆网等技术的快速发展以及日益庞大的数据量，出现了大量对计算资源高需求的车载应用任务，如自动驾驶、智能识别、实时路况等。这些车载应用任务不仅需要大量的存储与计算资源，同时对于任务执行时延的要求非常严格。车联网环境中计算任务卸载决策主要解决车载应用任务是否需要卸载以及卸载多少的问题。卸载决策的主要优化目标有任务执行时延、能耗以及时延与能耗的折中等。传统的方法包括面向5G的边缘计算多用户卸载方案，将问题转换为多重背包问题，优化计算任务执行时延。也有一系列基于各种数值优化算法提出了一系列计算卸载决策及资源配置方案。

但是上述方法没有针对不同终端进行任务优先级划分，从而实现处理程序的优化。同时上述方法需要实时准确的信道状态消息以及算法复杂度高、迭代步骤长，难以满足低时延需求很高的车联网通信系统。针对以上研究中存在的问题，本方法通过引入移动边缘计算，使车辆产生的计算任务能够直接在边缘节点进行处理，同时针对不同终端任务要求的不同进行优先级划分。在移动车辆端，基于深度强化学习，研究了计算速率最优的任务卸载策略，在信道条件时变的环境中能够根据过去的经验实现卸载策略的自我更新，并且与传统复杂的MIP问题不同，其计算复杂度不会因为网络规模的增长而爆炸，并且在任务执行时延方面有一定的改善，改善了网络拓扑结构动态变化的车联网终端用户的使用体验。

发明内容

发明目的：本发明提出一种基于深度Q网络的车载边缘网络任务分发卸载方法，能将计算任务有序分发卸载至边缘服务器，降低任务执行平均时延。

发明内容：本发明提出一种基于深度Q网络的车载边缘网络任务分发卸载方法，包括以下步骤：

(1)终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重；

(2)为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型；

(3)构建深度Q网络中的目标值网络、在线值网络以及状态-值函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励；

(4)以车辆终端无线信道增益为Q网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互以计算任务处理速率，最后得出最优卸载策略。

进一步地，所述步骤(1)包括以下步骤：

(11)将计算任务同一层次的因素进行两两比较，构造评价因素判断矩阵A＝(a_ij)_3×3及目标层相对于准则层的判断矩阵B₁,B₂...B₃＝(a_ij)_K×K，其中

(12)根据方根法求得判断矩阵B_k对应的权重向量元素：