[发明专利]一种结构化道路自动驾驶运输车及控制方法

权利要求书

1.一种结构化道路自动驾驶运输车的控制方法，其特征在于，包括监督驾驶室(12)和货仓，货仓后部设置有第一摄像头(1)，货仓的侧面分别设置有第二摄像头(2)和第三摄像头(3)，监督驾驶舱(12)前部设置有无畸变高速摄像头(4)、双目摄像头(5)和前部超声波测距单元(8)，货仓的两侧均设置有若干侧面超声波测距单元(7)，货仓顶部设置有激光雷达(6)，货仓内设置有GPS模块；

所述第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)、双目摄像头(5)、激光雷达(6)、侧面超声波测距单元(7)、前部超声波测距单元(8)和GPS模块均连接中央处理单元；

所述第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)用于实时采集车辆四周路况的RGB图像数据，传递给中央处理单元中不同的神经网络进行特征提取；

所述双目摄像头(5)位于监督驾驶室(12)正前方的中央位置，用于实时关注着车辆正前方的情况，构建深度图，传递给中央处理单元进行测距；

所述激光雷达(6)用于360°测算周围物体的位置、速度等特征量，构建点云图，感知周围环境，传递给中央处理单元，形成精度为厘米级的3D环境地图；

所述侧面超声波测距单元(7)和前部超声波测距单元(8)用于障碍物的测距；

所述中央处理单元用于接收第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)、双目摄像头(5)、激光雷达(6)、侧面超声波测距单元(7)、前部超声波测距单元(8)和GPS模块的数据，利用隐含式决策神经网络确定系统的前进、后退、停止及转向决策，并将动作指令传递给车辆控制单元；

控制方法包括以下步骤：

步骤一，通过第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)获取周围环境的的RGB图像数据，双目摄像头(5)获取深度图数据，激光雷达(6)获取点云图数据，侧面超声波测距单元(7)、前部超声波测距单元(8)获取周围障碍物的距离，GPS模块进行地图匹配判断位置信息；

步骤二，中央处理器根据第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)的数据处理四个不同的神经网络处理数据，将激光雷达(6)生成的点云图与双目摄像头(5)生成的深度图相结合，判断危险目标是否在危险区域内，并修正控制并反馈输出，中央处理器分析各个神经网络输出的数据，结合危险预警所得到的信息，判断是否需要向车主和行人返回信息并输出；

步骤三，中央处理的综合各个神经网络的输出和危险预警模块返回的信息控制车辆的前进、后退、停止及固定角度转向，特殊情况下通过屏幕或语音输出向车主或行人返回信息；

训练端到端深度学习的驾驶决策功能控制流程为：

第一步，在训练系统之前，首先假定方向控制命令为其中r是以米为单位的转弯半径，同时假定左转弯的为负，右转弯的为正，其中假定为方向控制命令的好处在于避免了出现因直线行驶导致转弯半径r为无穷大的情况；

第二步，通过四个摄像头采集彩色RGB图像，对视频进行降采样同时添加部分偏移和旋转数据；

第三步，训练卷积神经网络的权重值：该网络由输入层、输出层及隐层构成，其中隐层包括九层，一个归一层，五个卷积层和三个全连接层，在前三层采用2×2的卷积，其卷积核为5×5，后两层采用无步幅卷积，卷积核是3×3，五个卷积层之后是全连接层，最后输出一个数字，即转弯半径的倒数；

第四步，判断神经网络输出是否出现错误：若没有出现错误，输出位移和方向控制指令，若出现错误，利用反向传播来调整权重重新进行优化；

第五步：根据正确的位移和方向控制指令记录调整口方向盘的操作，积累数据进行仿真实验和上路测试。

2.根据权利要求1所述的一种结构化道路自动驾驶运输车的控制方法，其特征在于，所述步骤二中，四个不同的神经网络包括：

第一个卷积神经网络输出转向角度；

第二个全卷积神经网络对图像进行分割和语义理解；

第三个神经网络寻找交通信号灯和交通信号标志；

第四个多尺度卷积神经网络检测前面的人或其他动物。