[发明专利]一种众包地图中语义分割的难例挖掘方法及可读存储介质

说明书

本发明保护一种众包地图中语义分割的难例挖掘方法及计算机可读存储介质，所述方法包括：步骤1、统计label数量：对标注数据，统计出训练集和验证集中各标签的数量；步骤2，在语义分割训练模型中，在推理部分，记录每张图片上每个标签元素的iou值；步骤3，过滤记录下的iou值，记录iou值低于阈值的图片路径和元素；步骤4，结合低iou元素及其对应的标注图片和推理效果图，综合得出分割效果不好的元素或者场景，即为分割出的难例。本发明通过综合考虑标签数量和推理效果，针对众包地图构建中语义分割过程的要素进行分析，能够有效挖掘用于众包地图构建的语义分割难例，提取出难例数据。

技术领域

本发明用于深度学习领域，具体涉及一种众包地图中语义分割的难例挖掘方法。

背景技术：

图像语义分割正在逐渐成为计算机视觉及机器学习研究人员的研究热点，2D图像、视频、甚至是3D数据的语义分割，是计算机视觉领域的一个关键问题。语义分割也已经用在了众包地图和自动驾驶领域，自动驾驶汽车在行驶的过程中，车载摄像头，或者激光雷达探查到图像后输入到神经网络中，后台经过训练的算法模型就可以自动将图像分割归类，以实现避让行人与车辆等障碍。

对于自动驾驶，精确的地图是实现安全驾驶的重要一环。目前，众包地图是对于高精地图的有效补充。在众包地图的建图中，一般是将标注好的路面元素数据通过语义分割模型，将得到分割好的元素，用于后端slam建图使用。语义分割的结果通常来说，数据量越大效果越好，但实际中通常没有足够多的数据。其使用的数据为实验车通过正常在路上行驶中，前置摄像头采集到的真实路面视频数据，然后经过处理，得到图像数据，在对这些图像数据进行标注之后可用于分割模型。而在实际中，会出现，正常采回的数据，分割出的各元素的结果指标却差别很大。

另外，难例挖掘的目的是找出漏检和误检的难例。目前常用的难例挖掘方法大致有两类：一类是有监督难例挖掘方法，它需要使用大量的标签数据，而数据标注需要消耗大量人力，而数据量很大的情况下，人工成本非常高(这也是实际训练中数据量不够多的主要原因)；另一类是无监督难例挖掘，而在此类方法中，如何高效地提取出难例，也是一个需要解决的问题。

发明内容：

本发明的目的是提供一种众包地图中语义分割的难例挖掘方法，能够实现语义分割难例挖掘，提取出难例数据。

本发明的技术方案如下：

本发明方法是使用语义分割训练模型，语义分割模型训练包括训练和推理两个阶段，交并比(iou)是其中一个重要评价指标，iou值越大，分割效果越好。本发明方法是先统计出标注数据中各标签数量，然后在推理阶段，通过设置阈值，将包含该元素小于该阈值的图片筛选出来，综合考虑标签数量和推理效果，实现难分割元素的难例挖掘。

本发明方法具体包括：

步骤1、统计label数量：对标注数据，统计出训练集(trainset)和验证集(valset)中各标签(label)的数量。

步骤2，在语义分割训练模型中，在推理部分即在valset上的推理中，记录每张图片上每个标签元素的iou值。

步骤3，把记录下的iou进行过滤，把iou低于阈值的图片路径和元素记录下来。

步骤4，结合低iou元素及其对应的标注图片和推理效果图，综合得出分割效果不好的元素或者场景，即为分割出的难例。

具体地，在所述步骤1中，先确定语义分割的类别，把类别记录的txt文件中；然后根据类别txt文件和标注的json文件，通过python脚本对各label数量进行统计。

具体地，所述步骤2是在语义分割训练模型中，在推理部分，以txt形式记录对每张图片的推理结果指标iou。

具体地，所述步骤3是通过python脚本，结合标注的json文件，把txt记录下的iou进行过滤，得到低于阈值的图片路径。