[发明专利]基于鸟瞰图的图像分类方法、装置、设备及存储介质

权利要求书

1.一种基于鸟瞰图的图像分类方法，其特征在于，包括：

获取多帧初始图像及每帧初始图像对应的初始点云，并根据所述多帧初始图像及所述每帧初始图像对应的初始点云进行特征提取和深度真值扫描，得到多个不同尺度的特征图片帧及每帧初始图像对应的深度真值集合；

对所述多个不同尺度的特征图片帧进行虚拟点云映射处理，得到对应的语义虚拟点云；

根据所述语义虚拟点云生成鸟瞰图，并通过预置的卷积神经网络对所述鸟瞰图进行分类预测，得到所述鸟瞰图中每一像素点的初始分类预测结果；

根据预置的损失函数模型和所述深度真值集合对所述鸟瞰图中每一像素点对应的初始分类预测结果进行准确度修正，得到所述鸟瞰图中每一像素点对应的目标分类预测结果，所述预置的损失函数模型包括位置估计误差损失函数和分类损失函数；

所述对所述多个不同尺度的特征图片帧进行虚拟点云映射处理，得到对应的语义虚拟点云包括：

利用预置的深度估计模型和对应的参考图片帧分别对所述多个不同尺度的特征图片帧进行深度估计，得到估计深度数据集合，所述深度估计模型包括匹配代价计算函数，所述匹配代价计算函数用于计算每一采样深度对应的位置匹配代价；

获取车辆位姿信息，并根据所述估计深度数据集合和所述车辆位姿信息进行3D点映射，得到对应的初始虚拟点云；

对所述多个不同尺度的特征图片帧进行语义分割处理，并根据所述初始虚拟点云生成语义虚拟点云。

2.根据权利要求1所述的基于鸟瞰图的图像分类方法，其特征在于，所述根据预置的损失函数模型和所述深度真值集合对所述鸟瞰图中每一像素点对应的初始分类预测结果进行准确度修正，得到所述鸟瞰图中每一像素点对应的目标分类预测结果包括：

对所述语义虚拟点云进行分析，确定所述鸟瞰图中每一像素点对应的估计深度数据；

基于所述深度真值集合通过所述损失函数模型的位置估计误差损失函数对所述鸟瞰图中每一像素点对应的估计深度数据进行第一准确度修正，得到所述鸟瞰图中每一像素点对应的深度真值；

基于所述鸟瞰图中每一像素点对应的深度真值通过所述损失函数模型的分类损失函数对鸟瞰图中每一像素点对应的初始分类预测结果进行第二准确度修正，得到鸟瞰图中每一像素点对应的目标分类预测结果。

3.根据权利要求1所述的基于鸟瞰图的图像分类方法，其特征在于，所述获取多帧初始图像及每帧初始图像对应的初始点云，并根据所述多帧初始图像及所述每帧初始图像对应的初始点云进行特征提取和深度真值扫描，得到多个不同尺度的特征图片帧及每帧初始图像对应的深度真值集合包括：

通过预置的多个相机进行图像采集，得到多帧初始图像，并通过预置的激光雷达进行数据采集，得到每帧初始图像对应的初始点云；

通过预置的视觉分析模型对所述多帧初始图像进行特征提取，得到多个不同尺度的特征图片帧；

根据所述多帧初始图像和所述每帧初始图像对应的初始点云进行深度真值扫描，得到每帧初始图像对应的深度真值集合。

4.根据权利要求1所述的基于鸟瞰图的图像分类方法，其特征在于，所述利用预置的深度估计模型和对应的参考图片帧分别对所述多个不同尺度的特征图片帧进行深度估计，得到估计深度数据集合包括：

从预置数据库中获取与每一所述特征图片帧对应的参考图片帧；

基于预设的多个采样深度，通过预置的深度估计模型将每一所述特征图片帧投影至对应的参考图片帧，并根据预置的深度估计模型的匹配代价计算函数计算每一所述采样深度对应的位置匹配代价；

基于所述每一所述采样深度对应的位置匹配代价，确定每一所述特征图片帧中每一像素点的估计深度数据并合并为所述估计深度数据集合。