[发明专利]一种基于视觉SLAM的图像自动标注方法、装置及存储介质

说明书

本发明公开了一种基于视觉SLAM的图像自动标注方法、装置及存储介质；该方法先对当前帧图像进行处理，得到标注框，然后自动对其他不同帧的视频图像进行标注，以修正最开始的标注框，以得到最终较为准确的标注数据；该方法无需先验数据集，能在采集图像的同时实现在线式自动标注，支持多目标和多类别标注，该方法仅需用户单次标注，能极大减少人工图像标注工作，提高图像标注数据的采集效率，且操作简单易用。本发明可广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于视觉SLAM的图像自动标注方法、装置及存储介质。

背景技术

随着计算机视觉的发展，机器学习和深度学习等人工智能技术在图像分类、目标检测和图像分割等研究中得到广泛的应用并取得突破性的成效，但这类方法的模型训练依赖于大量与任务相关的图像标注数据，在推进模型落地应用前必须以人工方式对业务场景进行图像数据采集与标注，目前这一阶段需时较大且影响整体的研发进度。

目前，利用基于深度学习识别待标注图像的方法进行标注，但该方法需要预先收集图像数据进行训练并以此建立对应的候选标签集，因此不能直接用于首次标注的情况；此外，图像识别的准确度依赖数据集规模和各标签的概率分布情况，同时标注对象受限，该方法不具备普遍适用性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于视觉SLAM的图像自动标注方法、装置及存储介质。

本发明所采取的技术方案是：

一方面，本发明实施例包括一种基于视觉SLAM的图像自动标注方法，包括：

获取实时相机或视频中至少两帧连续图像，利用ORB-SLAM算法构建得到三维点云空间；

获取新一帧图像作为当前帧图像，通过PnP问题求解得到相机位姿；

以所述当前帧图像为选区，在选区框选标注区域，并在所述标注区域标注相应语义信息；

根据所述三维点云空间，获取所述标注区域内二维特征点对应的第一三维点云集合；

利用点云聚类算法对所述第一三维点云集合进行处理，得到第二三维点云集合，所述第二三维点云集合为点云数量最多的点云簇；

基于主成分分析法计算得到所述第二三维点云集合的最小有向包围盒；

根据所述相机位姿和相机内参，构建得到相机透视矩阵；

根据所述相机透视矩阵，将所述最小有向包围盒投影到所述当前帧图像，形成增强现实场景，并得到所述最小有向包围盒对应的矩形框；

对所述矩形框进行图像分割以识别主体；

根据识别的主体对所述矩形框进行调整，得到标注框；

比较所述矩形框和所述标注框的面积；

若所述标注框的面积与所述矩形框的面积之比小于第一阈值，则以所述标注框为选区，并执行在选区框选标注区域，并在所述标注区域标注相应语义信息的步骤；

从所述视频中获取目标帧图像，所述目标帧图像为除所述当前帧图像以外的后续任意一帧图像；

基于视觉SLAM算法获取所述目标帧图像的第一新增点云数据；

对所述第一新增点云数据进行过滤，得到第二新增点云数据，所述第二新增点云数据为所述最小有向包围盒中新增的点云数据；

若所述第二新增点云数据的数量大于第二阈值，则以所述目标帧图像为选区，并执行在选区框选标注区域，并在所述标注区域标注相应语义信息的步骤。