[发明专利]一种地形地质在线语义识别方法、装置及电子设备

权利要求书

1.一种地形地质在线语义识别方法，其特征在于，包括：

利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；

对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；

利用所述振动信息和所述图像信息计算探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像信息和振动信息的匹配关系；

根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像信息与地形地质语义信息映射的真值；

基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；

输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。

2.根据权利要求1所述的一种地形地质在线语义识别方法，其特征在于，基于振动信息的地形语义宽度学习模型由以下步骤进行构建并训练：

根据地形松软程度，设计不同地形的地形地质语义分类标签；

利用IMU传感器在所述设计的地形中采集振动信息，生成振动信息与地形地质语义分类的映射；

对所述振动信息进行预处理，得到所述振动信息的特征描述；

基于宽度学习构造神经网络训练模型；

根据所述特征描述和与所述特征描述对应的地形地质语义分类标签，训练所述神经网络训练模型，获得振动信息与地形语义信息映射的宽度学习模型。

3.根据权利要求2所述的一种地形地质在线语义识别方法，其特征在于，对所述振动信息进行预处理，得到所述振动信息的特征描述，具体包括：

对所述振动信息进行分段处理，生成特征向量，对所述向量做标准化处理，再对向量进行归一化处理，最后，取前m位的幅值构成振动信息的特征描述。

4.根据权利要求2所述的一种地形地质在线语义识别方法，其特征在于，基于宽度学习构造神经网络训练模型，具体包括：

基于宽度学习定义模型的输入输出数据，并对输入数据进行模糊处理，作为特征节点；

定义网络的增强节点，由所述特征节点计算得到；

定义输出权重，根据所述特征节点、所述增强节点和所述输出权重定义输出模型；

通过岭回归的广义近似逆求解网络训练模型的输出权重，从而得到神经网络训练模型。

5.根据权利要求1所述的一种地形地质在线语义识别方法，其特征在于，利用所述振动信息和所述图像信息计算探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像信息和振动信息的匹配关系，具体包括：

在探测器工作前对IMU传感器和相机的时间同步关系和空间位置关系进行标定；

根据所述IMU传感器采集的振动信息和所述相机采集的图像信息计算探测器在该空间中的行驶轨迹；

设ti时刻下，相机拍摄到的图像信息F中存在某空间位置点P，探测器经过该点P的时刻为tj；

根据所述行驶轨迹与所述IMU与相机之间的空间位置关系，估算tj时刻下的振动信息所对应的ti时刻，并提取该时刻的图像信息F，即求得所述图像信息和振动信息的匹配关系。

6.根据权利要求1所述的一种地形地质在线语义识别方法，其特征在于，还包括：

加强所述地形地质在线学习与语义分类模型的步骤。

7.根据权利要求6所述的一种地形地质在线语义识别方法，其特征在于，所述加强所述地形地质在线学习与语义分类模型的步骤，包括：

根据IMU传感器采集的振动信息与图像信息构成的映射数据关系，重复地形地质在线学习与语义分类模型的训练过程，实现模型的加强。