[发明专利]基于激光雷达与视觉融合的列车站台停车点精准检测方法

权利要求书

1.一种基于激光雷达与视觉融合的列车站台停车点精准检测方法，其特征在于，包括以下步骤：

S1：构建视觉分类网络，实现图像的特征提取；

S2：采集所有轨道站台不同时刻图像数据，并对图像进行特征提取，构建站台的停车点视觉特征数据集；

S3：在列车运行过程中，摄像头采集的每一帧图像通过步骤S1进行特征提取，得到当前图像特征，并与步骤S2构建的停车点视觉特征数据集进行相似度度量，得到当前图像特征与不同站台的停车点视觉特征数据集的特征间的最小距离；

S4：构建点云分类网络来对轨道站台和非站台点云进行分类，得到当前点云属于不同站台的概率；

S5：对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据进行融合，融合的结果通过阈值判定判断当前的站台id；

所述步骤S1包括：

S1-1：提供神经网络模型结构，其中将采集的图像缩放到统一尺寸，运用卷积神经网络对于图像进行压缩得到特征图，利用多个反向残差神经网络进行特征提取，通过平均池化获得1024维向量，使用全连接网络和逻辑回归操作实现图像的分类；

S1-2：在步骤S1-1神经网络模型结构基础上删除后续的任务层，保留特征提取部分，构建新的特征提取神经网络模型；

S1-3：将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中，从而构建图像特征提取器F_I；

所述步骤S2包括：

S2-1：对于列车运行线路中的每一个站台i∈{1,2,…,m}，采集不同时刻不同光照强度的n_i张图像I_ij，构建站台i的样本库S_i，所有列车运行线路的各站台样本库构成样本库

S＝∪_{i∈{1,2,…,m}}S_i，

其中，m为一条线路中所有的站数，n_i为数据集中站台i的图像数量数目，j(j∈{1,2,…,n_i})，此处U表示集合并集；

S2-2：使用步骤S1-3构建的特征提取器F_I对图像I_ij进行特征提取，得到1024维向量

l_i,j＝F_I(I_i,j)，

其中l_i,j表示图像I_ij所对应的图像特征，

并且将所有提取到的图像特征存入视觉特征数据集L；

所述步骤S3包括：

S3-1：通过步骤S1-3构建的特征提取器F_I对当前摄像头采集的图像I_now进行特征提取，得到1024维向量l_now＝F_I(I_now)，其中l_now表示当前图像所对应的图像特征；

S3-2：通过L1范数计算当前图像特征l_now与视觉特征数据集L内的特征l_i,j之间距离d_i,j，

其中l_now,k表示当前图像特征l_now，l_i,j,k表示特征l_i,j的特征第k维；

S3-3：当前图像特征l_now与站台样本库S_i中的特征之间最小距离为d_i，各个站台的最小特征距离共同构成图像特征距离d，

d＝(d₁,d₂,…,d_i),i∈{1,2,…,m}；

所述步骤S4包括：

S4-1：采集列车运行过程中的非站台点云和站台点云作为数据集，将采集的点云采样到固定的点数，利用卷积神经网络将点云全局特征映射到高维特征空间，考虑到点云顺序对于检测结果没有影响，通过平均池化获取点云特征向量，再使用全连接网络实现点云分类，从而构建点云站台分类器F_p；

S4-2：当前由激光雷达采集点云P_now，通过步骤S4-1构建的点云站台分类器F_p对当前点云P_now进行分类，得到当前点云P_now是各个站台的概率

其中，表示当前点云是站台i的概率，表示当前点云是非站台的概率；

所述步骤S5包括：

S5-1：将步骤S3-3所得到的图像特征距离d转换为图像站台概率p_image，

其中，d₀为自行设置的非站台距离阈值，对应的为当前图像特征是非站台的概率，为当前图像特征l_now是站台i的概率，d_max是不同站台特征距离的最大值，d_i是当前图像特征l_now与站台样本库S_i中的特征之间最小距离；

S5-2：获得通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率之间的冲突程度G

其中，C是所有u、v相等的点云站台概率和图像站台概率积，D是所有u、v不等的点云站台概率和图像站台概率积；

S5-3：计算各个站台分配的权重

其中，k_i表示站台i的权重，表示当前点云是站台i的概率，为当前图像特征l_now是站台i的概率；

S5-4：通过DS判据来融合图像站台概率p_image和点云站台概率p_point

其中，p_i表示当前停车点的站台id为i的概率，p_θ表示不确定程度，k_θ为自行设定的权重值，k_i表示站台i的权重，G表示冲突程度，表示当前点云是站台i的概率，为当前图像特征l_now是站台i的概率；

S5-5：计算当前时刻t最可能停车点的站台id为

其中，p_i表示当前停车点的站台id为i的概率，t为当前时刻，res_t表示输出的站台id,index_t表示站台最可能的id；

S5-6：如果不确定程度则当前停车点的站台id为res_t＝res_t-1，否则执行以下步骤S5-7，

其中，是自行设定的阈值,res_t-1表示上一时刻输出的站台id；

S5-7：如果或者index_t＝0，

则res_t＝0，即当前不是停车点站台，否则执行以下步骤S5-8，

其中，表示表示当前停车点的站台id为index_t的概率，p_th表示自行设定的概率阈值；

S5-8：当前是停车点站台，站台id为res_t＝index_t。