[发明专利]一种车联网资源融合的车载任务协作迁移方法

权利要求书

1.一种车联网资源融合的车载任务协作迁移方法，其步骤如下：

步骤1)：明确场景中的主要元素，构建基于SDN技术的网络架构；在架构中，基础网络元素基于OpenFlow协议进行连接，部署在基站上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源，应用平面通过北向接口连接到控制平面；SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配物理基础结构的资源；在本方法，场景中的主要元素为N_V辆电动汽车和N_S个计算任务，电动汽车的集合表示为且|V|＝N_V，文中用下标i、j和h用来表示负责不同任务的车辆，电动车v_i上待执行的计算任务表示为s_i，每一个任务s_i都对应着不同的服务类型，服务类型的集合(包括不同的计算任务)表示为K＝{1,2,...,N_K}，下标k用来区分不同的服务类型；

1.1)电动车和计算任务模型

a.车辆模型：车辆v_i表示为：v_i∈V其中各项元素的定义如下：

为车辆上所缓存的数据库所属的数据类型，当时，代表该车上无缓存数据库；μ_i是车辆v_i的速度，当车辆正向行驶时，μ_i0时，当车辆逆向行驶时μ_i0；f_i^cpu为电动车v_i的可用计算资源，f_i^cpu随电动车的计算负载的变化而变化；ε_i为电动车v_i剩余电量占总电量的百分比，且ε_i∈[0,1]；当车辆v_i的剩余电量或可用计算资源不足以执行任务s_i时，它将通过资源租赁的方式将任务迁移到其他设备执行；该类车辆通过SDN控制器构成集合

b.计算任务模型：电动车v_i上待执行的计算任务s_i表示为：其中各项元素定义如下：为任务s_i的任务数据大小；f_i^comp为执行任务s_i所需计算资源大小；k_i为任务s_i的服务类型k_i∈K；为服务k_i所需计算资源的大小；为任务s_i的执行延迟限制；在本发明中，任务的计算输入部分分成两部分：任务数据和计算所需的数据库，对于具有相同服务类型的任务，执行时所需要的数据库是相同的，该数据库可从互联网下载获取；在获取数据库的过程中，重复下载同样服务类型的数据库产生冗余的网络开销，为了充分利用网络资源，减少冗余开销，利用车辆上的空闲存储资源缓存数据库，可以大幅度减少全局网络的延迟和能耗开销；

1.2)在任务迁移的过程中主要存在两种通信方式：车对车V2V通信和车对基站V2B通信；SDN首先基于设备数据信息计算集群(N_V+1)×(N_V+1)的通信矩阵M，N_V为集群中的车辆总数，其元素m_p,q为设备v_p与设备v_q之间的通信速率具体计算方法如下：

a.V2V通信：V2V通信使用正交频分多址技术来确保通信的质量和稳定性；车辆v_i与车辆v_j之间的通信速率通过香农公式计算，其中B_i,j是车辆v_i与车辆v_j之间的通信带宽；信号噪声比反映了车辆v_i与车辆v_j之间的信道质量；其中p_i,j和g_i,j分别表示车辆v_i与车辆v_j之间的传输功率和信道增益，σ²为高斯噪声；

b.V2B通信：若当前场景无法通过V2V为任务待迁移车辆提供可靠通信，则可建立V2B通信；基站总带宽B_b被平均分为N个子信道，每个子信道的信道带宽ω＝B_b/N；因此，传输速率其中Γ_i,b表示车辆v_i与BS的信号干扰噪声比，SINR由公式进行计算，其中p_i,b和g_i,b分别是车辆v_i和BS之间的传输功率和信道增益，I_i,b表示来自其他子信道的干扰，σ²为高斯噪声；

1.3)任务数据的传输基于1.2)步骤中提到的V2V或V2B通信；而获取所需数据库的方式如下：设定集群中首次处理k服务类型任务的车辆从互联网下载所需数据库，若资源充足则将数据库缓存在车辆上，该缓存数据可传输给同一集群中其他需要该类型任务的车辆，传输速率由1.2)中的公式计算；当电动车v_j执行迁移任务s_i，该部分数据获取延迟可由计算，其中ι是执行任务s_i的车辆v_j是否已经缓存了任务s_i所需数据库的标志，如果车辆v_j已缓存需求数据库，则ι＝0，即无需从其他设备传输或从网络下载该数据库；否则，ι＝1；当ι＝1且集群中存在缓存服务类型时，和分别为数据库传输延迟和传输请求等待延迟；y_j,h为车辆v_j执行任务所需数据库是否从车辆v_h传输的决策变量；而当ι＝1且该数据必须从互联网下载时，是下载所需数据库的时长，即为车辆v_j从互联网下载数据的速度，为服务k_i所需计算资源的大小；

1.4)基于步骤1.2)和1.3)执行车辆v_j获取了两部分输入数据后，进行任务计算，任务s_i的计算延迟为：其中f^cpu代表设备的可用计算能力，包括车辆或基站两种设备，f_i^comp为执行任务s_i所需计算资源大小；将车辆的计算资源建模为有限状态的马尔可夫链；

1.5)对电动车计算资源，其单位租金会随着可用计算能力f^cpu和剩余电量ε的状态而变化；其租金由函数计算，其定义为：其中α和β是价格因子，e为欧拉数，ε为设备剩余电量；车辆v_j的租金由租金函数计算，得到车辆v_j上可用的计算资源和剩余电量越多，车辆倾向于协助其他车辆执行任务来赚取收益的倾向就越强烈；在上述公式中，将租金函数分为两部分，和指数函数和反函数分别表示对剩余电量和计算资源的敏感性；但是，单价对剩余电量和可用计算资源的敏感性不同；如果电量ε_j极低，则无论剩余资源如何，车辆v_j都倾向于不参与任务的协作执行；租金流促进了全局车辆之间的合作；在这里，BS的电量始终是足够的，即ε＝1，而BS的租金由即其中，表示可用计算资源；

步骤2)：优化目标为最大化全局总效益；本方法综合考虑延迟、存储容量、支付、功耗和速度的约束；由部署在BS中的SDN控制器安排调度任务，以确保任务的成功执行并延长低电量电动汽车的生命周期；车辆v_i迁移任务s_i能够获得的速率和被定义为：

其中为任务数据传输速率；从车辆v_h到车辆v_j，所需数据的传输速率；为车辆v_j的数据下载速率；为车辆v_j的计算能力；若任务迁移到BS上执行，为车辆v_i到BS的传输速率，为BS的数据下载速率；为BS的数据计算能力；和是二进制变量，分别是任务迁移决策和所需数据获取决策，涉及到车辆v_i的两跳通信；决策和相互影响；SDN控制器必须在支付费用和获得的服务质量之间进行权衡需要支付的总费用P_i^total可通过下式计算：

其中，和分别为车辆v_j和BS计算资源的租金单价，通过1.3)中的公式可计算，和分别为车辆v_j和BS下载资源的租金单价，综合二者，定义用户v_i获得的效益为单位支付费用所获得的服务速率，从车辆服务状态和单位支付费用联合考虑该问题，则优化问题可以表述为：

P:

s.t.C1:

C2:

C3:

C4:

C5:

C6:

C1～C6为优化函数P的限制条件；其中，C1是对车辆的移动性进行限制，L两辆车之间的距离，分母的|μ_i-μ_j|为两车的相对速度，该约束限制了两辆车进行通信的时间要确保两辆车在可通信范围之内；C2和C3是对任务迁移车辆和任务执行车辆的能耗限制，C2中的和分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待的时间；而C3中的和分别为执行车辆执行通信、计算和获取所需数据任务的能耗；为了确保车辆不会因电池耗尽而抛锚；能耗计算公式为ε^cost＝e×t^cost，其中e是每单位时间的功耗，包括EV的四个状态：行驶并执行通信任务即e^comm，e^comm具有V2V和V2B两种状态，即e^v2v和e^v2i，行驶并执行计算任务即e^comp，行驶并执行下载任务即e^down和仅行驶状态即e^wait，而t^cost为车辆某状态的维持时间；C4是对集群中V2B的通信能力的约束，Z_b为BS通信容量；C5限制了任务迁移执行时间必须满足任务本身的延迟限制，为任务s_i的执行延迟限制；C6是对卸载决策的限制；

步骤3)：使用深度强化学习算法之前，需要对深度强化学习中的几个重要要素进行详细说明，即状态，动作和奖励函数；

3.1)系统状态；在时隙t，集群中的状态空间为：

其中，Φ_i(t)为车辆设备的通信状态集合，为车辆用户的计算能力集合，P_i(t)为每辆车的计算资源租赁费用，I_i(t)为车辆的其他状态集合，包括车辆的速度、行驶方向、位置、缓存数据所属服务类型、剩余电量；

3.2)系统动作；动作可以表示为其中x_i,j(t)是任务迁移决策，y_j,h(t)是所需数据获取决策；x_i,j(t)定义为向量x_i,j(t)＝[x_i,1(t),x_i,2(t),...,x_i,V(t)]其中x_i,j(t)表示是否要将车辆v_i上的任务s_i迁移到车辆v_j；如果任务s_i迁移到EVv_j，则x_i,j(t)＝1，否则在时隙t迁移x_i,j(t)＝0；注意表示任务s_i迁移到车辆执行，表示任务s_i迁移到BS执行；相同地，y_j,h(t)定义为向量y_j,h(t)＝[y_j,1(t),y_j,2(t),...,y_j,V(t)]，其中y_j,h(t)表示数据获取决策，即车辆v_j是否从车辆v_h上获取所需要的缓存数据；

获取所需数据是否从车辆v_h的缓存传输；如果从车辆v_h传输到车辆v_j，则y_j,h(t)＝1，否则，y_j,h(t)＝0；其中，意味着所需数据库从其他车辆的缓存中传输，意味着所需数据库从互联网上下载；

3.3)奖励函数；本方案的目标在于最大程度地提高集群范围内迁移用户的总效用，即最大化单位租金可获得的总服务速率；奖励函数定义如下：

其中，为车辆v_i迁移任务s_i能够获得的速率和，P_i^total为需要支付的总费用；当2)中的优化目标的约束被满足时，奖励函数正常计算得到奖励，若优化目标不满足，则奖励为0以示“惩罚”；

步骤4)：基于步骤3)中得到的系统状态、系统动作和奖励函数，基于深度强化学习中的DoubleDeepQ-Network算法进行任务的智能迁移；DDQN包含两个Q网络即主Q网络Q_main和目标Q网络Q_target，除此之外还有一个经验回放缓冲区用以存放样本以供后期训练使用；

Step1：首先初始化两个Q网络以及两个网络的参数，并清空经验回放缓冲区

Step2：开始迭代，得到初始化状态，将该状态作为Q网络的输入，通过∈-greedy算法得到该状态对应的动作，即：

其中和分别为状态和动作，为第一次获取的第一部分的状态，θ为当前Q网络的参数；而后通过得到的x_i,j(t)从通信矩阵中获取车辆v_j相应的通信状态，包括车辆v_j的其他状态作为第二部分决策的输入状态，即得到数据获取决策为：

Step3：执行动作计算该动作的目标Q值r_j；执行动作后得到新状态s_t+1，并更新状态，即将四元组存放至经验回放缓冲区中；

Step4：判断当前状态是否满足终止条件，如果满足，则y_j＝r_j，否则，其中ω是折损因子，θ和θ^-分别为Q网络的所有参数和目标Q网络参数；

Step5：计算损失函数：

通过神经网络梯度反向传播更新Q网络的参数θ，并每步更新Q网络参数，更新方法为θ′＝σθ+(1-σ)θ′，其中，σ为更新系数；

Step6：累积奖励值收敛到一个值即得到目标函数的最优解；

步骤5)：经过步骤4)求解得最优值后，SDN控制器将决策回传给集群中的车辆；集群中的车辆根据得到的决策进行数据传输、任务计算或数据下载操作。