[发明专利]一种基于DDPG算法选择车辆的异步联邦优化方法

权利要求书

1.一种基于DDPG算法选择车辆的异步联邦优化方法，其特征在于，包括：

S1：根据车辆自身传输速率、可用计算资源大小以及车辆位置设定时隙t的系统状态、动作以及奖励；

S2：根据时隙t的系统动作对参与训练的车辆进行选择，得到被选择的车辆；

S3：所述被选择的车辆利用本地数据进行本地训练得到对应的本地模型；

S4：考虑训练时延和传输时延对车辆训练出的本地模型造成的迟滞性影响，对本地模型进行权重优化，得到权重优化后的本地模型；

S5：训练完的车辆将权重优化后的本地模型异步上传到路边单元处进行异步联邦聚合，通过多轮重复训练，最终路边单元得到全局模型。

2.根据权利要求1所述的基于DDPG算法选择车辆的异步联邦优化方法，其特征在于，步骤S1中，根据车辆自身传输速率、可用计算资源大小以及车辆位置设定时隙t的系统状态、动作以及奖励包括：

所述设定时隙t的系统状态为：

s(t)＝(Tr(t),μ(t),d_x(t),a(t-1))

其中，s(t)为时隙t的系统状态，Tr(t)表示所有车辆在时隙t各自的传输速率的集合，μ(t)为所有车辆在时隙t各自的可用计算资源的集合，d_x(t)为所有车辆在时隙t各自沿x轴的位置坐标的集合，a(t-1)为时隙t-1的系统动作；

所述设定时隙t的系统动作为：

a(t)＝(λ₁(t),λ₂(t),…，λ_K(t))

其中，a(t)为时隙t的系统动作，λ_i(t),i∈[1,K]表示选择车辆i的概率，令λ₁(0)＝λ₂(0)＝…＝λ_K(0)＝1；

所述设定时隙t的系统奖励为：

其中，r(t)为时隙t的系统奖励，ω₁和ω₂为非负的权重因子，a_di(t)为时隙t的系统动作，λ_i(t),i∈[1,K]表示选择车辆i的概率，Loss(t)为异步联邦训练中计算的损失值，为车辆i本地训练所产生的时延，为车辆i在时隙t上传本地模型的传输时延。

3.根据权利要求2所述的基于DDPG算法选择车辆的异步联邦优化方法，其特征在于，步骤S2中，根据时隙t的系统动作对参与训练的车辆进行选择，得到被选择的车辆包括以下步骤：

S21：设定集合a_d(t)＝(a_d1(t),a_d2(t),…，a_dK(t))；

S22：将λ_i(t)进行归一化处理，设定λ_i(t)取值大于等于0.5的对应a_di(t)记为1，否则为0，最终得到的集合a_d(t)由0跟1组成，1表示选择车辆，0表示不选择车辆。

4.根据权利要求2所述的基于DDPG算法选择车辆的异步联邦优化方法，其特征在于，基于时隙t的系统奖励，系统的期望长期折扣奖励可以表示为：

其中，γ∈(0,1)为折扣因子，N为总时隙数，μ为系统的策略，J(μ)为系统的期望长期折扣奖励。