[发明专利]用于扫地机器人的语义信息与VSLAM融合方法

权利要求书

1.一种用于扫地机器人的语义信息与VSLAM融合方法，其特征在于，其包括如下步骤：

S1、将语义信息融入到VSLAM系统中，建立融合语义信息的室内地图，包括如下具体步骤：

S11、提取语义信息并对语义信息进行识别；

S111、根据现有分类模型，使用ResNet-18作为基础网络，移除最后全连接层，对语义信息进行提取与识别；

S112、对室内物体建立公共数据集，将所述室内物体分割成n个区域，并按照从左到右从上到下的次序对所述n个区域进行排序，建立离线语义信息字典，用n维向量c的n个分量c₁-c_n依次代表n个区域，若分量代表的区域存在，则该分量为1，否则为0；

S12、对室内进行工字清扫；

S121、进行最大区域确定，并在进行最大区域确定过程中进行室内物体识别和分割，然后回到起始位置；

S122、开始工字清扫；

S13、生成融合传统信息与语义信息的融合字典；

S131、生成语义字典；

通过建立的离线语义字典，在清扫过程中对物体与物体位置进行识别，得到包含语义信息的向量，生成语义信息字典；

S132、生成传统字典；

通过特征点提取与匹配得到每一帧图像的特征点，通过运动估计得到每一个特征点的位姿，确定每一个特征点的属性；将所述图像上的特征点放入字典，形成传统字典；

S133、将语义字典中包含语音信息的向量加入到传统字典向量的前面，生成融合传统信息与语义信息的融合字典；

S14、生成地图；根据已求得的空间各个点的位姿构建点云地图；

S15、回环检测；

首先进行语义信息匹配，如果语义信息无法完成匹配，则认为该点是错误的匹配，不需要再在词袋中查找；否则，对比传统字典与语义信息字典中物体的位置关系，当语义信息匹配度超过某一阈值时，进行回环检测，对累计误差进行优化，得到优化后的地图；

S2、建立扫地机器人自学习模型，针对已建立的室内融合语义信息的地图，在对室内进行清扫的过程中，自学习不同区域的脏乱程度，对室内区域进行划分，得到一级区域、二级区域和三级区域；

S3、建立多模式清扫机制；

针对已建立的扫地机器人自学习模型，建立多模式清扫机制。

2.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法，其特征在于，在所述步骤S132中采用暴力匹配方法进行特征点提取与匹配，所述方法选取ORB特征，使用快速近似最近邻算法来进行特征点匹配。

3.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法，其特征在于，在所述步骤S132中采用EPnP算法得到特征点的位姿。

4.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法，其特征在于，在所述步骤S2中采用基于语义信息的改进K-means聚类算法进行室内区域划分，包括如下操作步骤：

S21、根据室内地图，选取语义识别出的室内物体，设置k个聚类质心点为μ₁,μ₂,…，μ_k；

S22、使用公式C⁽ⁱ⁾＝argmin_j||x⁽ⁱ⁾-μ_j||²，对每一个数据个体i按照欧氏距离最近原则对室内空间样本数据集进行聚类，将样本确定归类，其中，C⁽ⁱ⁾代表样例i与k个类中距离最近的类，μ_j是每个聚类的质心点，x⁽ⁱ⁾是室内的每个点的坐标；

S23、对于每一个聚类μ_j，根据扫地机器人扫入的赃物的多少对聚类区域进行分级；

S24、重复执行步骤S22和S23，一直更新区域等级变化。

5.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法，其特征在于，所述步骤S3中的多模式清扫机制包括：省电模式、智能模式和功能模式；

所述省电模式：根据已划分的区域等级，重点清扫一级区域；

所述智能模式：根据已划分的区域等级，着重清扫一级区域，少量清扫其它区域；

所述功能模式：根据已划分的区域等级，对室内区域无差别重点清扫。