[发明专利]一种基于神经网络技术的视觉语义SLAM系统及方法

权利要求书

1.一种基于神经网络技术的视觉语义SLAM系统，其特征在于，包括目标追踪模块、关键帧筛选模块、运动位姿估计模块、语义分析模块、地图建图模块、场景表述模块和后端优化模块；

所述目标追踪模块对输入图像序列中的特征进行追踪，产生特征关联匹配信息和特征位置信息；所述目标追踪模块的特征关联匹配信息和特征位置信息输入运动位姿估计模块；

所述关键帧筛选模块从接受的图片信息中选取关键帧，并对关键帧进行筛选生成关键帧队列，所述关键帧筛选模块将关键帧队列分别输入运动位姿估计模块、语义分析模块和场景表述模块；获得关键帧队列的方法为：

S1，选出图像的关键帧，将关键帧输入YOLO9000目标检测网络，得到关键帧中目标特征的位置和数量，将目标特征的数量与目标特征数量阈值进行比较，若检测特征数量大于目标特征数量阈值则转S2，否者转S4，

S2，将满足S1的关键帧图像送入IQAs网络对图像质量进行打分，若关键帧的图像质量大于等于设定的阈值，则认为图像质量合格，则转S3，否者结束；

S3，对经过S2筛选后的关键帧图像使用间隔阈值，控制关键帧队列合格关键帧的数量，计算当前合格帧和上一合格帧的时间间隔，设定图像帧隔阈值为200ms，当计算的时间间隔小于图像帧隔阈值时，则将当前帧加入关键帧队列，否者结束；

S4，对满足S1的关键帧图像进行系统最低运行要求判断，以关键帧图像中心为原点，设定原点周围三分之二面积之内的范围为关键区域，将关键区域内的目标特征数量与设定的最低阈值进行比较，当关键区域内的目标特征数量大于最低阈值时，则转入S2，否者结束；

所述运动位姿估计模块根据接受的特征关联匹配信息、特征位置信息和关键帧队列，通过特征检测网络对特征位置信息进行优化，进而获得相机的位置和姿态信息；所述运动位姿估计模将相机的位置和姿态信息输入地图建图模块；

所述语义分析模块通过ENet网络模型对输入的关键帧队列进行快速场景分割，进而获得图像特征像素级的空间信息；所述语义分析模块将空间信息输入地图建图模块；

所述地图建图模块根据相机位置和姿态信息和空间信息，再结合3D模型库信息构建局部地图；并将所构建的局部地图输入后端优化模块；

所述场景表述模块通过深度语义对齐网络模型将输入的关键帧队列进行处理，并生成对关键帧队列内图像内容的描述信息；并将该描述信息输入后端优化模块；

所述后端优化模块不断接收地图建图模块输入的局部地图进而生成全局地图，且对当前关键帧图像的描述信息和场景描述库内的描述信息进行相似度计算，当相似度阈值大于设定阈值时，认为重新回到了曾经到过的地方，即在全局地图上形成回环，实现回环检测。