[发明专利]一种基于DDPG算法选择车辆的异步联邦优化方法

说明书

本发明提供一种基于DDPG算法选择车辆的异步联邦优化方法，包括根据车辆自身传输速率、可用计算资源大小以及车辆位置设定时隙t的系统状态、动作以及奖励；根据时隙t的系统动作对参与训练的车辆进行选择，得到被选择的车辆；所述被选择的车辆利用本地数据进行本地训练得到对应的本地模型；考虑训练时延对车辆训练出的本地模型造成的迟滞性影响，对本地模型进行权重优化，得到权重优化后的本地模型；训练完的车辆将权重优化后的本地模型异步上传到路边单元处进行异步联邦聚合，通过多轮重复训练，最终路边单元得到全局模型。本发明方法计算简便，系统模型合理，仿真实验验证了该方法在车辆环境下能够得到较高的全局模型精度。

技术领域

本发明涉及车载网络技术领域，尤其涉及一种基于DDPG(Deep deterministicpolicy gradient，深度确定性梯度策略)算法选择车辆的异步联邦优化方法。

背景技术

随着科技的发展，车联网技术逐渐兴起，这使我们的出行更加便捷。同时各种车辆上的智能服务也在逐渐兴起。于是车辆在道路上行驶的过程中会根据需求产生一些计算任务。然而传统的云计算服务中，由于云端距离车辆较远，于是上传会产生较大的时延，不适用于高速移动的车辆场景，于是便产生了车载边缘计算。其中，车辆可以将计算任务上传到具有一定计算能力且离车辆较近的路边单元(Road Side Unit，RSU)处进行任务处理，从而极大的减小了任务处理的时延。然而车辆的任务计算需要车辆将本地数据上传到路边单元，让路边单元进行处理。这就产生了隐私安全问题。车辆用户可能会担心隐私泄露而不愿意上传本地数据。于是就产生了联邦学习技术。具体来说，联邦学习会在路边单元处进行一定次数的全局聚合。在第一轮训练中，车辆首先下载路边单元处的初始化全局模型，然后在本地使用本地数据进行本地训练，训练完成后将本地模型而不是本地数据进行上传，在路边单元处收到全部车辆的本地模型后进行本地模型的聚合处理，之后重复第二轮直到达到规定次数。这极大的保护了车辆用户的隐私。

然而传统的联邦学习中，路边单元需要等全部车辆上传完本地模型后才进行全局模型更新，若存在某一辆车训练以及上传时延过大，则会导致存在其他车辆行使出路边单元的覆盖范围从而导致无法参加全局训练。于是产生了异步联邦训练。具体来说，车辆使用本地数据进行完本地训练后上传本地模型。在路边单元处，其每收到一个来自车辆上传的本地模型就进行一次全局模型的聚合。这能够更快的更新路边单元处的全局模型而不用等待其他车辆的上传。

由于车辆自身具有一定的移动性，从而造成了时变的信道状况，从而导致了时变的传输速率，这导致车辆拥有不同的传输时延。同时由于不同车辆拥有不同的时变的计算资源且车辆自身拥有本地数据的数量不同，导致了不同的本地训练时延。在异步联邦训练过程中，由于车辆是异步上传本地模型的，于是存在当一辆车还未上传本地模型到路边单元时路边单元已经根据别的上传的本地模型进行了全局模型的更新，于是该辆车的本地模型就具有了一定的陈旧性。陈旧性与本地训练时延和传输时延有关。于是考虑以上因素对路边单元处全局模型的精度影响是至关重要的。

由于车辆中可能存在坏节点，即车辆自身可用计算资源少，本地数据量少，以及本地训练完后的本地模型会受到一定干扰。坏节点的存在会极大的影响路边单元处的全局模型的精度。于是对参与全局聚合的车辆节点进行选择是十分必要的。

因此，在综合考虑车辆的移动性、时变的信道状况、车辆自身时变的可用计算资源、车辆不同的本地数据量以及存在车辆坏节点的情况下，本发明提出了一种基于DDPG算法选择车辆的异步联邦优化方法。

发明内容

为此，本发明实施例提供了一种基于DDPG算法选择车辆的异步联邦优化方法，用于解决现有技术中由于车辆的移动性、时变的信道状况、车辆自身时变的可用计算资源、车辆不同的本地数据量以及存在车辆坏节点的情况进而导致生成的全局模型精度低的问题。

为了解决上述问题，本发明实施例提供一种基于DDPG算法选择车辆的异步联邦优化方法，该方法包括：