[发明专利]一种对接仿真环境图像与真实环境图像的自动驾驶方法

权利要求书

1.一种对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，包括以下步骤：

(1)采集仿真平台中的车辆摄像头图像，对图像中能够行驶的区域打上标签，并采用打过标签的图像集训练深度学习语义分割网络1；

(2)采用步骤(1)中训练好的深度学习语义分割网络1对仿真平台中车辆摄像头采集的实时图像进行分割，对分割后的图像进行后处理，并提取特征值；

(3)采用步骤(2)中提取的特征值进行深度强化学习算法模型的训练，实现仿真环境中车辆按照指定车道行驶；

(4)采集真实环境下的车辆摄像头图像，训练深度学习语义分割网络2，采用深度学习语义分割网络2提取的真实环境下图像的特征值和步骤(3)中训练好的深度强化学习算法模型，实现车辆在实际车道上的自动驾驶。

2.根据权利要求1所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，步骤(1)的具体过程如下：

(1-1)在仿真平台中，车辆沿着正确车道行驶，在车辆行驶过程中，利用车载摄像头采集前视图像；

(1-2)对步骤(1-1)采集的图像中能够行驶的区域打上标签，并保存成数据集的形式；

(1-3)选择合适的深度学习语义分割网络，利用步骤(1-2)得到数据集训练深度学习语义分割网络1，直至网络的准确率达到要求。

3.根据权利要求2所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，在步骤(1-2)中，采用手动方式打标签。

4.根据权利要求2所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，在步骤(1-3)中，按照网络的实时性选择深度学习语义分割网络。

5.根据权利要求4所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，在步骤(1-3)中，选择的深度学习语义分割网络包括但不限于Bisenet。

6.根据权利要求2所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，在步骤(1-3)中，训练深度学习语义分割网络，直至该网络的准确率超过设定的阈值。

7.根据权利要求2所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，步骤(2)的具体过程如下：

(2-1)将仿真平台中车辆摄像头采集的实时图像输入训练好的深度学习语义分割网络1中，深度学习语义分割网络1输出分割后的语义图像；

(2-2)将分割后的语义图像进行后处理，得到特征值。

8.根据权利要求7所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，在步骤(2-2)中，所述后处理包括下采样以降低网络的计算量、滤除低效的特征信息以及图像裁剪以删除低效信息和无效信息；所述低效信息为对于车辆在道路上行驶时无明显作用的信息，包括绿化带、人行道和人行道上的物体；所述无效信息为对于车辆在道路上行驶时完全无作用的信息，包括背景信息和干扰信息，所述背景信息包含天空、道路外的建筑物和树木，所述干扰信息包含路面的落叶和光线的差别。

9.根据权利要求2所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，步骤(3)的具体过程如下：

(3-1)将深度强化学习算法模型与深度学习语义分割网络1和仿真平台进行对接，并通过步骤(2)提取的特征值训练深度强化学习算法模型；

(3-2)不断对模型进行调参和优化，使训练结果达到车辆能够沿指定车道行驶；

(3-3)深度强化学习算法输出车辆自动驾驶的控制信号给仿真平台，仿真平台中的车辆根据接收到的控制信号进行行驶。

10.根据权利要求2所述对接仿真环境图像与真实环境图像的自动驾驶方法，其特征在于，步骤(4)的具体过程如下：

(4-1)采集真实环境下的车辆摄像头图像，采用与步骤(1)相同的方式对图像进行打标并采用打标的图像集训练深度学习语义分割网络2；

(4-2)基于步骤(4-1)训练好的深度学习语义分割网络2，采用与步骤(2)相同的方式提取真实环境下图像的特征值；

(4-3)使用步骤(3)中训练好的深度强化学习算法模型与步骤(4-2)提取的特征值，实现车辆在实际车道上的自动驾驶。