[发明专利]一种地形地质在线语义识别方法、装置及电子设备

说明书

本申请公开了一种地形地质在线语义识别方法、装置及电子设备，包括：利用IMU传感器和相机分别获取振动信息和图像信息；利用宽度学习模型对所述振动信息进行地形地质预测，获得地形地质语义分类结果；利用振动信息和图像信息计算探测器在空间中的行驶轨迹，并生成图像和振动信息的匹配关系；根据所述匹配关系和所述地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将其作为图像与地形地质语义信息映射的真值；基于神经网络搭建地形地质在线学习与语义分类模型，并训练所述地形地质在线学习与语义分类模型；输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。

技术领域

本申请涉及语义识别技术领域，尤其涉及一种地形地质在线语义识别方法、装置及电子设备。

背景技术

目前探测器感知系统具备较为先进的环境探测与导航能力，但是对于巡视地形的认知与分类仍无法满足实际的应用需求，目前探测器主要依靠视觉作为解决方案，有些问题还未解决：视觉传感设备仅能对环境外部结构、颜色等特征进行有效提取和识别，无法对材质和力学等特征进行精确感知，探测系统不具备对地形的力学特性如软硬程度等物理属性的认知能力，从而无法对地形的进行较好的预判。

发明内容

本申请实施例的目的是提供一种地形地质在线语义识别方法、装置及电子设备，以解决相关技术无法对地形进行较好的预判的问题。

根据本申请实施例的第一方面，提供一种地形地质在线语义识别方法，包括：利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；利用所述振动信息和所述图像信息探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。

根据本申请实施例的第二方面，提供一种地形地质在线语义识别装置，包括：获取模块，用于利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；分类模块，对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；配准模块，利用所述振动信息和所述图像信息探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；真值生成模块，用于根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；模型训练模块，用于基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；识别模块，用于输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。

根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：