[发明专利]基于移动机器人与地面交互声音的地形识别方法及装置

说明书

本申请公开了一种基于移动机器人与地面交互声音的地形识别方法及装置，包括：在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；基于所述地形数据库，构建基于注意力机制的地形分类网络模型；在待识别地形中，采集移动机器人与待识别地形地面交互的音频数据，通过所述地形分类网络模型识别该地形。利用移动机器人与地面的交互声音的方法充分地排除了光照变化等环境对系统探测的影响，不仅可以仅凭声音独立识别地形，也可以与基于视觉的地形识别方案互为补充，进一步提升系统的鲁棒性。

技术领域

本发明涉及机器人环境感知技术领域，尤其涉及一种基于移动机器人与地面交互声音的地形识别方法及装置。

背景技术

目前大部分地形分类方法都基于视觉，但基于视觉的方法容易受到外观变化和光照变化等影响，导致系统不稳定。移动机器人与不同类型地面进行交互产生的声音具有各自独特的音频特征，可利用此特征进行地形分类，且不受光照、抖动等影响。已有的少量声学识别方法多为主动式声波而非接触式声响，且识别对象多为具体目标而非场景地形，对功耗、使用环境也都有一定限制。

发明内容

本发明实施例的目的是提出一种基于移动机器人与地面交互声音的地形识别方法及装置，以解决相关技术对地形语义感知能力不足的问题。

根据本发明实施例的第一方面，提供一种基于移动机器人与地面交互声音的地形识别方法，包括：

在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；

基于所述地形数据库，构建基于注意力机制的地形分类网络模型；

在待识别地形中，采集移动机器人与待识别地形地面交互的音频数据，通过所述地形分类网络模型识别该地形。

进一步地，所述各地形包括基岩地、土壤地、沙地、碎石地。

进一步地，在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库，包括：

控制移动机器人以不同的速度在已选择的各地形上移动，通过麦克风采集各地形下移动机器人与地面交互的音频数据；

对所述音频数据进行预处理，提取得到声谱图；

将所述声谱图进行数据处理，整合构建成地形数据库。

进一步地，基于所述地形数据库，构建基于注意力机制的地形分类网络模型，包括：

将所述声谱图进行水平切片，得到不同频段的子谱图，利用深度学习方法获取不同子谱图的图像特征；

通过注意力机制层确定不同子谱图特征对全局声谱图的注意力权重系数，利用确定的注意力权重系数对深度学习模型输出的特征进行加权线性组合，得到强化后的特征；

将所述强化后的特征通过全连接层和分类器处理，得到基于注意力机制的学习网络；

使用所述地形数据库对所述学习网络进行训练，得到最终的基于注意力机制的地形分类网络模型。

针对声谱图的识别与分类，本发明通过水平切片，将声谱图分成不同频段的子谱图，并利用注意力机制确定不同子谱图特征对全局声谱图的注意力权重系数，对深度学习模型输出的特征进行加权线性组合，得到最终特征，可以大大提升模型对地形识别的准确性。

根据本发明实施例的第二方面，提供一种基于移动机器人与地面交互声音的地形识别装置，包括：

数据库构建模块，用于在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；