[发明专利]一种实时的物体级语义地图构建和更新方法及装置

权利要求书

1.一种实时的物体级语义地图构建及更新方法，其特征在于，所述方法通过实时物体级语义地图构建及更新系统实现，所述系统包括实物平台和仿真平台，每个所述平台包括操作系统层、驱动层和硬件层；所述实物平台作为下位机是独立的数据处理中心，所述仿真平台位于上位机，用于下位机的数据远程可视化和环境仿真；

所述实物平台的操作系统层包括追踪线程模块、语义线程模块、重定位线程模块和地图更新模块，通过将所述追踪线程模块得到的三维地图点信息和所述语义线程模块得到的二维语义框融合，实现物体级语义地图的构建；通过所述重定位线程模块和地图更新模块实现物体级语义地图的复用和更新；

所述实物平台的硬件层包括单目相机、移动底盘和交互屏幕，所述单目相机设置在所述移动底盘上，通过所述移动底盘带动所述单目相机运动获取周围环境的图像信息；

所述实物平台的驱动层包括图像数据采集模块和底盘运动控制模块，通过所述图像数据采集模块驱动所述单目相机，通过所述底盘运动控制模块控制所述移动底盘的运动；

所述操作系统层和驱动层，所述驱动层和硬件层之间通信连接；

所述系统通过以下步骤实现物体级语义地图的构建：

S1、对二维语义框进行缩放，消除语义框的重叠情况，具体步骤包括：

S11、通过YOLO3算法得到场景物体的矩形语义框；

S12、根据语义框的类别，设置固定的颜色以便可视化；

S13、计算语义框的对角长度，根据所述对角长度对语义框进行缩放以消除语义框的重叠情况；

S2、对同一帧图像中的物体地图点进行分类，对不同帧图像的地图点进行数据关联，具体步骤包括：

S21、对通过ORB-SLAM2算法提取的特征点进行语义标记；

S22、根据特征点与地图点的映射关系，索引到对应的地图点并进行语义标记；

S23、判断每一帧图像的语义地图点归属于地图中的某个物体或判定为新物体，具体判断方法为：

采用当前帧地图点与已有物体地图点的重合程度判断该帧物体与已有物体的差异性，如果差异性小于设定阈值，则归为同一物体，如果差异性大于设定阈值或者为不曾出现的类别，则判定为一个新物体；

所述重合程度的计算方法为：

当前帧中的一个物体obj_x的N个地图点集合为obj_x＝[p_x1,p_x2,…,p_xn]，其中p＝[x,y,z]^T为地图点的三维坐标，地图中已有同类物体M个{obj₁,obj₂,...obj_m}，S_m为已有第m个物体与obj_x中重合地图点的个数，则重合程度

S3、对地图中同个物体被拆分为多个物体的地图点进行合并，具体步骤包括：

S31、计算物体地图点的形心和半径，其中形心的计算方法为：

半径r的计算方法为：

然后对r_i进行升序排列，取物体外围点的平均半径r^*作为物体的半径，此时

其中，N表示物体地图点的数量，一个地图点记做所有地图点记做其中，|P|＝size(P)，表示取向量P的维数；

S32、遍历同类物体的半径，用同类物体的平均半径作为该类物体的半径；

S33、根据物体的半径，对邻近的同类物体进行判断，对需要合并的物体地图点进行合并，所述判断方法为：

计算同类物体形心之间的距离，当距离小于设定半径阈值时，则合并该相邻的物体地图点为一个物体；

所述系统通过以下步骤实现物体级语义地图的更新：

S4、根据关键帧的共视关系，统计局部地图中的物体，具体步骤包括：

S41、根据关键帧的共视关系得到局部地图，局部地图由每一关键帧对应的地图点构成；

S42、对局部地图中每一关键帧中的物体进行统计，并建立关键帧与其对应物体的索引；

S5、计算当前帧所对应的物体点云与局部地图中已有同类物体的相似程度，具体步骤包括：

S51、遍历当前帧的物体，计算该物体的地图点与地图中同类物体地图点重合数量；

S52、根据重合数量得到相似程度，并根据所述相似程度进行相似性检验，其中所述相似程度的计算方法为：

相似程度＝M/N

其中，N表示物体包含的地图点数量，M表示未被观测到的地图点个数；

所述相似性检验的具体步骤为：

对相似程度大于阈值的两个物体点云进行判断，其中|P_A|＝size(P_A)，表示P_A的维数，即物体点云P_A包含的地图点个数；

如果P_A、P_B属于同一个物体，则P_A、P_B服从相同的概率分布，合并P_A、P_B的地图点，记混合样本对样本地图点的三个维度分别升序排列并编秩，对于样本P_X定义统计量则有：

其中，R为混合样本的秩；

W＝min(W_A,W_B)服从高斯分布N(μ,σ²)，其均值μ和方差σ²的计算方法如下：

其中，τ∈P_A∩P_B；

假设P_A、P_B属于同一个物体，若该假设成立，则概率函数f满足：f(W)≥f(z_r)＝f(z_l)＝α/2，其中α为分位数，置信区间为[z_l,z_r]；否则不是同一个物体，即不被当前帧观测；

S6、根据物体的变化情况以整个物体对应的地图点为单位对地图进行更新，具体步骤包括：

S61、根据S5的检验结果，判断原位置物体地图点是否被当前帧观测，并记录未被观测次数；

S62、根据观测次数的记录对多次评定为不能被观测到的物体，将其对应的地图点从地图中清除。