[发明专利]一种基于视觉SLAM的图像自动标注方法、装置及存储介质

权利要求书

1.一种基于视觉SLAM的图像自动标注方法，其特征在于，包括：

获取实时相机或视频中至少两帧连续图像，利用ORB-SLAM算法构建得到三维点云空间；

获取新一帧图像作为当前帧图像，通过PnP问题求解得到相机位姿；

以所述当前帧图像为选区，在选区框选标注区域，并在所述标注区域标注相应语义信息；

根据所述三维点云空间，获取所述标注区域内二维特征点对应的第一三维点云集合；

利用点云聚类算法对所述第一三维点云集合进行处理，得到第二三维点云集合，所述第二三维点云集合为点云数量最多的点云簇；

基于主成分分析法计算得到所述第二三维点云集合的最小有向包围盒；

根据所述相机位姿和相机内参，构建得到相机透视矩阵；

根据所述相机透视矩阵，将所述最小有向包围盒投影到所述当前帧图像，形成增强现实场景，并得到所述最小有向包围盒对应的矩形框；

对所述矩形框进行图像分割以识别主体；

根据识别的主体对所述矩形框进行调整，得到标注框；

比较所述矩形框和所述标注框的面积；

若所述标注框的面积与所述矩形框的面积之比小于第一阈值，则以所述标注框为选区，并执行所述在选区框选标注区域，并在所述标注区域标注相应语义信息的步骤；

从所述视频中获取目标帧图像，所述目标帧图像为除所述当前帧图像以外的后续任意一帧图像；

基于视觉SLAM算法获取所述目标帧图像的第一新增点云数据；

对所述第一新增点云数据进行过滤，得到第二新增点云数据，所述第二新增点云数据为所述最小有向包围盒中新增的点云数据；

若所述第二新增点云数据的数量大于第二阈值，则以所述目标帧图像为选区，并执行所述在选区框选标注区域，并在所述标注区域标注相应语义信息的步骤；

所述根据所述相机位姿和相机内参，构建得到相机透视矩阵这一步骤，包括：

根据第一公式将所述相机位姿的数据从世界坐标系转到OpenGL坐标系，所述第一公式为：R_o＝R_owR_wR_ow,t_o＝R_owt_w；其中，世界坐标系为(R_w,t_w)，OpenGL坐标系为(R_o,t_o)；

根据所述OpenGL坐标系，结合相机内参，构建得到相机透视矩阵，所述相机透视矩阵为：

其中，式中，P表示相机透视矩阵，相机内参为(u₀,v₀,f_u,f_v)；near表示相机光心到近截面的距离，far表示相机光心到远截面的距离，right表示近截面中心到右截面的距离，left表示近截面中心到左截面的距离，top表示近截面中心到上截面的距离，bottom表示近截面中心到下截面的距离，w表示图像像素宽度，h表示图像像素高度。

2.根据权利要求1所述的一种基于视觉SLAM的图像自动标注方法，其特征在于，所述获取实时相机或视频中至少两帧图像，利用ORB-SLAM算法构建得到三维点云空间这一步骤，包括：

对相机进行标定以获取相机内参矩阵和畸变参数；

获取实时相机或视频中至少两帧连续图像；

依次对两帧所述连续图像提取ORB特征点并计算相应的二进制描述子；

根据所述ORB特征点，对两帧所述连续图像进行特征点匹配，得到图像特征点；

利用对极几何约束估计两帧所述连续图像间的相机运动，计算得到相机位姿；

根据所述相机内参矩阵、畸变参数和相机位姿，利用三角化测量计算所述图像特征点的三维坐标，构建得到三维点云空间。

3.根据权利要求1所述的一种基于视觉SLAM的图像自动标注方法，其特征在于，以当前帧图像为选区，在选区框选标注区域，并在所述标注区域标注相应语义信息这一步骤，包括：

以所述当前帧图像为选区，在选区框选第一区域；

根据所述当前帧图像的窗口大小与所述当前帧图像像素宽高比例，将所述第一区域转化为像素区域；

将所述像素区域作为标注区域，并在所述标注区域标注相应语义信息。