[发明专利]一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法

说明书

本发明公开了一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法，包括：采用深度强化学习实现对自动驾驶群车的行驶环境以及周围车辆的行驶环境进行观测，在各自车辆的处理器内进行训练数据，将训练好的数据模型加密后发送给边缘计算服务器，边缘计算服务器综合训练边缘神经网络，将训练后的模型同时发送给云计算服务器，云计算服务器将综合各模型进行训练数据，将训练好的模型信息发送给边缘计算服务器和车辆终端，进行车辆终端的模型信息更新，采用联邦深度学习方法实现自动驾驶汽车的智能决策功能。本发明有助于减少大数据通信条件的影响，解决训练数据的不平衡问题，有助于实现计算负载和资源分配更加智能，也实现了自动驾驶汽车群体决策的强大环境认知能力。

技术领域

本发明涉及人工智能技术领域，涉及一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法。

背景技术

人工智能技术促进了自动驾驶汽车的发展，例如深度学习在自动驾驶汽车环境感知的应用，可以实现对复杂道路前方环境的目标识别和跟踪，深度强化学习在较为简单的道路环境中可以实现稳定的决策。随着道路环境的日益复杂，尤其多辆自动驾驶汽车在复杂道路环境行驶情况，要求车辆能适应环境变化的稳定性智能决策，以确保自动驾驶汽车的行驶安全性。然而在复杂道路环境下，采用强化学习算法实现自动驾驶的智能决策，并不能保证其正确性和准确性；尽管还有其余方法采用车辆与云计算服务器通信方式实现决策功能，但大批量数据传输会引起通信网络时延，大批量的数据信息也会引起深度学习网络层数和宽度不断增加，也增加了数据访问外存的时间延迟，同时每辆车的大批量重要数据的传输也会引起数据隐私问题，防止被其它用户窃取，尤其涉及到一些重要的数据信息是需要隐私保护的，以确保自动驾驶汽车的行驶安全性，因此，采用传统的云计算服务器与自动驾驶汽车的通信方式实现车辆的决策功能是存在一定局限性的。联邦学习是人工智能领域的一个新研究方向，其主要特点是将各个智能体的模型综合起来产生更为优化的学习型模型，并能实现大批量数据不必在车辆之间和车与服务器之间进行传输，就可以实现深度学习的训练数据，而是通过仅仅将更新的模型上传至响应的服务器，就可以解决实现智能体的优化运用模型，并保持各个智能体数据的隐私和安全。联邦学习方法不仅可以充分利用各个智能体的大数据进行模型训练，而且可以通过不同智能体在不同工作环境产生的不同模型，进一步可以产生更为完备的优化模型，能确保智能体在较短时间内的智能决策功能。通过在深度强化学习中引入联邦学习，有助于实现自动驾驶群车在复杂道路环境的智能决策。

发明内容

本发明的主要目的在于提供一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法，旨在解决现有技术中自动驾驶决策的准确性和行驶安全性问题，难以建立保护自动驾驶汽车的重要数据隐私和数据安全问题，以及减少大数据信息在车辆之间和车辆与服务器之间的信息传输问题，以确保自动驾驶群车能在不同环境实现智能决策的功能。

为实现上述目的，本发明提供一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法，所述自动驾驶群车是由N_i辆车组成，定义数组i∈{1,2,3,…,n}，所述的联邦深度学习方法包含以下内容：

1、所述自动驾驶群车中的每辆自动驾驶汽车都是安装多种激光雷达、摄像头、毫米波雷达、定位系统和具有存内计算特点的处理器；采用云计算服务器用来进行综合训练数据进行优化模型，采用边缘计算服务器用来进行分布式训练数据，并且与车辆、云计算服务器进行并行优化模型功能，所述车辆安装具有训练深度学习的处理器；

2、采用通信装置，用来链接车与车之间、车与基础设施，如云计算服务器和边缘计算服务器的信息传输功能；

3、可选地，在同一路径较短路段的自动驾驶群车，每一车辆根据道路环境和周围行车情况，不断获取环境知识，通过改变行为策略，来选择合适的决策策略来适应环境；