[发明专利]一种对接仿真环境图像与真实环境图像的自动驾驶方法

说明书

本发明公开了一种对接仿真环境图像与真实环境图像的自动驾驶方法。首先，采集仿真平台中的车辆摄像头图像，训练深度学习语义分割网络1；其次，采用训练好的深度学习语义分割网络1对仿真平台中进行图像分割，并提取特征值；然后，采用提取的特征值进行深度强化学习算法模型的训练，实现仿真环境中车辆按照指定车道行驶；最后，采集真实环境下的车辆摄像头图像，训练深度学习语义分割网络2，实现车辆在实际车道上的自动驾驶。本发明明显降低了仿真环境中训练好的算法模型向真实环境中迁移的难度，从而使仿真环境中训练的强化学习算法可以直接在实车上使用，不需要额外的强化学习训练。

技术领域

本发明属于自动驾驶领域，特别涉及了一种应用深度强化学习算法的自动驾驶方法。

背景技术

随着人工智能技术的不断发展，汽车行业应用人工智能技术解决自动驾驶问题更加现实。目前实现自动驾驶主要有两个方向，一个方向是通过分解自动驾驶任务，分别使用不同的算法来解决分解后的问题，例如使用深度学习进行道路信息的检测识别；另一个方向是不细分解自动驾驶，直接使用端到端的算法实现自动驾驶，例如强化学习、模仿学习。端到端的算法在理论上能够简化自动驾驶的设计，毕竟从从感知段到控制端实现自动驾驶，比起分解问题的方式，少了很多的工作内容，同时也符合人类的驾驶方式，从感知端图像中获取信息，到控制端实现控制，而无需知道周围准确的信息，所以有不少的企业、学者在从事端到端的自动驾驶研究。强化学习在自动驾驶中同样属于端到端的自动驾驶算法，而且强化学习的原理也符合人类的进化方式，即从与环境的互动中得到惩罚，学习知识。强化学习与深度学习结合后，产生深度强化学习，在性能上也有了明显的提升。

深度强化学习算法虽然能够于环境中学习新的知识，但该算法目前的发展仍不足以让其在复杂的车载相机原始图像中学习到想要的知识，而且该算法依赖于手动设定的奖励函数，该函数的设定也限制了强化学习算法的学习效果。同时，深度强化学习算法存在样本利用率低的问题，需要进行大量的反复训练，才能让其学习到人们想要的知识。在真实的环境中，使用实车进行深度强化学习训练，时间成本、车辆成本会很高昂，而且存在很大的安全风险。

为了降低强化学习算法的训练成本、风险，研究者普遍采用在仿真环境中进行训练的方式来降低训练的成本和风险，训练好模型后，再将模型迁移到真实的环境中。在自动驾驶领域，这样做会存在一个明显的问题，那就是仿真环境中的图像与真实环境存在明显的差别，导致深度强化学习算法在仿真环境中利用原始图像训练的结果难以迁移到真实环境中，需要再次重新训练。

目前研究者减小仿真环境与真实环境中训练差异的方法主要是通过建立逼真的仿真环境和设计仿真环境与真实环境中图像的转换算法，这些方法可以对两个环境中的差异有所降低，但降低的很有限，且这些方法都需要花费大量的时间。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种对接仿真环境图像与真实环境图像的自动驾驶方法，明显降低仿真环境中训练好的算法模型向真实环境中迁移的难度。

为了实现上述技术目的，本发明的技术方案为：

一种对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，包括以下步骤：

(1)采集仿真平台中的车辆摄像头图像，对图像中能够行驶的区域打上标签，并采用打过标签的图像集训练深度学习语义分割网络1；

(2)采用步骤(1)中训练好的深度学习语义分割网络1对仿真平台中车辆摄像头采集的实时图像进行分割，对分割后的图像进行后处理，并提取特征值；

(3)采用步骤(2)中提取的特征值进行深度强化学习算法模型的训练，实现仿真环境中车辆按照指定车道行驶；

(4)采集真实环境下的车辆摄像头图像，训练深度学习语义分割网络2，采用深度学习语义分割网络2提取的真实环境下图像的特征值和步骤(3)中训练好的深度强化学习算法模型，实现车辆在实际车道上的自动驾驶。