[发明专利]基于鸟瞰图的图像分类方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种基于鸟瞰图的图像分类方法、装置、设备及存储介质。方法包括：获取多帧初始图像及每帧初始图像对应的初始点云，并根据多帧初始图像及每帧初始图像对应的初始点云得到多个不同尺度的特征图片帧及每帧初始图像对应的深度真值集合；对多个不同尺度的特征图片帧进行虚拟点云映射处理，得到对应的语义虚拟点云；根据语义虚拟点云生成鸟瞰图，并通过预置的卷积神经网络对鸟瞰图进行分类预测，得到鸟瞰图中每一像素点的初始分类预测结果；根据预置的损失函数模型和深度真值集合对鸟瞰图中每一像素点对应的初始分类预测结果进行准确度修正，得到鸟瞰图中每一像素点对应的目标分类预测结果。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于鸟瞰图的图像分类方法、装置、设备及存储介质。

背景技术

在无人驾驶场景中，鸟瞰图下的语义分割能够表达多种重要的视觉感知任务，如可行驶区域检测，路沿检测，车道线检测，路面标识检测等。

目前在对鸟瞰图进行语义分割时采用格点级的交叉熵损失函数进行训练，当位置误差较大时，神经网络无法准确判断应当预测正例或负例，导致神经网络最终会倾向于不做有效预测，而是选择占比较大的类别，产生分类误差，同时随距离增加，基于视觉的深度估计误差增大，视觉特征转换到鸟瞰图的位置信息存在较大误差值，导致图像分类结果不准确。

发明内容

本发明实施例提供了一种基于鸟瞰图的图像分类方法、装置、设备及存储介质，用于提高鸟瞰图下的图像分类准确性。

本发明第一方面提供了一种基于鸟瞰图的图像分类方法，包括：获取多帧初始图像及每帧初始图像对应的初始点云，并根据所述多帧初始图像及所述每帧初始图像对应的初始点云得到多个不同尺度的特征图片帧及每帧初始图像对应的深度真值集合；对所述多个不同尺度的特征图片帧进行虚拟点云映射处理，得到对应的语义虚拟点云；根据所述语义虚拟点云生成鸟瞰图，并通过预置的卷积神经网络对所述鸟瞰图进行分类预测，得到所述鸟瞰图中每一像素点的初始分类预测结果；根据预置的损失函数模型和所述深度真值集合对所述鸟瞰图中每一像素点对应的初始分类预测结果进行准确度修正，得到所述鸟瞰图中每一像素点对应的目标分类预测结果。

可选的，在本发明第一方面的第一种实现方式中，所述根据预置的损失函数模型和所述深度真值集合对所述鸟瞰图中每一像素点对应的初始分类预测结果进行准确度修正，得到所述鸟瞰图中每一像素点对应的目标分类预测结果包括：对所述语义虚拟点云进行分析，确定所述鸟瞰图中每一像素点对应的估计深度数据；基于所述深度真值集合通过所述损失函数模型的位置估计误差损失函数对所述鸟瞰图中每一像素点对应的估计深度数据进行第一准确度修正，得到所述鸟瞰图中每一像素点对应的深度真值；基于所述鸟瞰图中每一像素点对应的深度真值通过所述损失函数模型的分类损失函数对鸟瞰图中每一像素点对应的初始分类预测结果进行第二准确度修正，得到鸟瞰图中每一像素点对应的目标分类预测结果。

可选的，在本发明第一方面的第二种实现方式中，所述获取多帧初始图像及每帧初始图像对应的初始点云，并根据所述多帧初始图像及所述每帧初始图像对应的初始点云得到多个不同尺度的特征图片帧及每帧初始图像对应的深度真值集合包括：通过预置的多个相机进行图像采集，得到多帧初始图像，并通过预置的激光雷达进行数据采集，得到每帧初始图像对应的初始点云；通过预置的视觉分析模型对所述多帧初始图像进行特征提取，得到多个不同尺度的特征图片帧，并根据所述多帧初始图像和所述每帧初始图像对应的初始点云确定每帧初始图像对应的深度真值集合。

可选的，在本发明第一方面的第三种实现方式中，所述对所述多个不同尺度的特征图片帧进行虚拟点云映射处理，得到对应的语义虚拟点云包括：利用预置的深度估计模型分别对所述多个不同尺度的特征图片帧进行深度估计，得到估计深度数据集合；根据所述估计深度数据集合进行3D点映射，得到对应的初始虚拟点云；对所述多个不同尺度的特征图片帧进行语义分割处理，得到语义虚拟点云。