[发明专利]一种基于多源信息感知和端到端深度学习的自动泊车方法

权利要求书

1.一种基于多源信息感知和端到端深度学习的自动泊车方法，其特征在于，包括如下步骤：

1)以采样频率f对泊车过程进行采样，构建初始数据集D；所述初始数据集记为D＝{d₁,d₂……d_i……}，d_i为第i次的采样数据，记为d_i＝{Pf_i,Pb_i,Pl_i,Pr_i,left_i,right_i,back_i,r_i,v_i}，其中Pf_i、Pb_i、Pl_i、Pr_i分别是由安装在汽车前引擎盖、车尾和左、右后视镜下的四路鱼眼相机采集的图像，left_i、right_i、back_i分别是由安装在汽车左侧、右侧和后侧的超声波雷达测得的汽车与障碍物之间的距离；r_i为当前采样时的方向盘转角,v_i为当前采样时的汽车轮速；

2)通过初始数据集D，构建训练样本D’；

3)搭建并优化CNN-LSTM神经网络；

4)训练神经网络，获得自动泊车驾驶模型；

5)利用自动泊车模型进行实车控制实现自动泊车。

2.如权利要求1所述的基于多源信息感知和端到端深度学习的自动泊车方法，其特征在于，所述步骤2)包括如下步骤：

2.1)通过张正友标定法对四个车载鱼眼相机进行标定，获得四个车载鱼眼相机的标定参数，包括内参数与外参数；

2.2)利用内参数和外参数对鱼眼图像Pf、Pb、Pl、Pr进行畸变矫正，得到矫正变换图Pf’、Pb’、Pl’、Pr’；

2.3)将矫正变换图Pf’、Pb’、Pl’、Pr’变为俯视图Pf”、Pb”、Pl”、Pr”；

2.4)对俯视图Pf”、Pb”、Pl”、Pr”进行剪切和拼接，得到环视拼接图P_O；

2.5)对环视拼接图P_O进行下采样处理，输出尺寸固定的的图像P_T；

2.6)对图像P_T进行归一化处理，得到训练图像P；

2.7)构建训练样本D’，记为D’＝{d₁’,d₂’……d_i’……}，d_i’包含环视图像帧序列数据、超声波障碍物距离信息数据和当前驾驶员驾驶信息数据，记为d_i’＝{P_i,left_i,right_i,back_i,r_i,v_i}，训练标签记为Label＝{left_i,right_i,back_i,r_i,v_i}。

3.如权利要求1所述的基于多源信息感知和端到端深度学习的自动泊车方法，其特征在于，所述步骤3)包括如下步骤：

3.1)搭建CNN-LSTM神经网络，所述神经网络包括CNN、LSTM、特征融合层，其中，CNN部分由5个卷积层、5个池化层和1个全连接层组成；LSTM部分由2层全连接层，1层池化层，20个LSTM单元组成；特征融合层部分由1层融合层，2层全连接层组成；

3.2)利用Adam优化器优化神经网络。

4.如权利要求1所述的基于多源信息感知和端到端深度学习的自动泊车方法，其特征在于，所述步骤4)包括如下步骤：

4.1)输入训练样本D’；

4.2)计算均方误差MSE，计算公式为：

Pred为训练过程中的预测结果，是与训练标签Label相同大小的2维张量，i,j为行列的坐标；n为批量大小。

4.3)若MSE＞均方误差阈值a时转步骤4.1)继续训练，否则转步骤5)。