[发明专利]基于虚拟环境和深度双Q网络的自动驾驶小车训练方法

说明书

本发明涉及基于虚拟环境和深度双Q网络的自动驾驶小车训练方法，包括：基于Unity构建小车赛道虚拟环境；建立Websocket协议下的Unity与自动驾驶小车模型的通信连接；建立表征小车自动驾驶过程的马尔科夫模型,改造深度双Q网络算法训练自动驾驶模型；配置实体小车软硬件环境，迁移已训练小车自动驾驶模型；测试真实赛道下实体小车训练模型的自动驾驶操作。本方法使用虚拟环境训练模型，实现自动驾驶训练算法模型对复杂环境和路况的鲁棒性。本发明借助深度双Q网络算法，避免Q值估值大造成训练复杂性高的问题，使训练过程简单快速。本发明具有鲁棒性强、速度快、成本低等优点。可应用到智能交通、航空航天、机器人等领域的无人驾驶操作的训练和学习。

技术领域

本发明涉及一种基于虚拟环境和深度双Q网络的自动驾驶小车训练方法，属于自动化控制技术领域，具体涉及一种深度强化学习算法。

背景技术

近年来，人工智能技术特别是深度学习技术的飞速发展，在目标识别、智能控制等领域取得了重大突破。深度学习技术，如卷积神经网络(CNN)，被广泛应用于各种类型的视觉相关的问题中，包括了自动驾驶领域，且利用深度学习技术实现自动驾驶是当前自动驾驶技术研究的主流。同时，汽车已进入千家万户，随着汽车保有量的增加，交通安全事故发生率也在逐渐增长，己成为一个急需解决的安全问题。经调查发现，大部分的交通事故都是由于驾驶员操作不当所导致的。自动驾驶车能够很好的把人从汽车的驾驶中解救出来，从而有效减少交通事故的发生。智能小车也被称为轮式机器人，是智能机器人的一个分支。目前自动驾驶智能小车在许许多多的行业中都得到了应用，在社会中扮演着重要角色，它的应用主要在以下几个方面。在安全检测与受损评估方面的应用：智能小车能完成石油化工、道路、水利等多个领域的安全检测和受损评估工作业，此外，智能小车还能完成高空、地铁的灭火工作，废墟生命探索和救援的工作。智能运输系统的应用：减轻驾驶员的工作量，缓解交通拥挤与堵塞，减少交通事故的发生，提高通信的安全性；在物流运输方面的应用：运用智能车辆进行物流运输工作，提高了货物运输效率，降低了搬运工人的强度，同时能够避免有害物质对人体造成伤害。

目前有相关研究采用深度学习技术构建端到端学习的自动驾驶汽车，其关键技术是在监督下通过神经网络进行学习，得到映射关系，最终实现自动驾驶汽车的自动驾驶。该方法复制驾驶技巧。虽然端到端自动驾驶模型易于规模化和适应性强，但它处理长期规划的能力有限，属于克隆学习。

在杭州师范大学钱江学院章真亮、叶霞、倪虹等申请、2019年8月9 日公开、公开号为CN110109456A、发明名称为“一种小车自动驾驶方法”的中国发明专利申请中，搭建卷积神经网络，自动驾驶车放置到工作场地上，并通过人为控制的方式驱动自动驾驶车沿目标路线行驶，从而建立路径图像集，后用路径图像集训练建立的卷积神经网络再将自动驾驶车放置到工作场地的目标路径上行驶。该发明申请利用卷积神经网络训练人为控制小车的数据，从而使小车拥有自动驾驶能力，但是人为收集驾驶数据，一方面对人控制小车要求高，另一方面对于不同环境就需要收集不同的数据(如不同光线，不同道路环境)，需要大量的工作量。此外，手动控制难以收集到突发遇到障碍物情况的数据。本专利无人人为控制小车的数据，使用的训练方法存在本质不同，可以模拟多种环境参数进行多类型情景训练。

在济南浪潮高新科技投资发展有限公司戴鸿君、于治楼申请、2016年8 月9日公开、公开号为CN 110110639A、发明名称为“一种基于人工智能循迹的室内监控方法及室内监控车”的中国发明专利申请中，根据特征模型和环境数据判断沿轨道行驶时采用的行驶参数，同时将采集的环境图像数据上传，采用CNN卷积神经网络算法进行训练，得出合适的模型。该发明方法需要人为的根据当前特征模型和环境数据进行训练数据的采集，需要耗费大量的人为数据收集工作。手动收集的数据训练出来的小车，鲁棒性差，对于环境稍微改变后，模型的表现结果就会变差。

发明内容