[发明专利]基于图像与声音融合的煤岩界面定位识别方法

权利要求书

1.一种基于图像与声音融合的煤岩界面定位识别方法，其特征在于：包括输入信号预处理模块、视觉子网模块、听觉子网模块、煤岩界面识别模块；所述的输入信号预处理模块将摄像机所获取的采煤机滚筒切割煤岩时的视频分成图像流和音频流，将所述的图像流处理后输入视觉子网模块，将所述的音频流转换为声谱图后输入听觉子网模块；所述的视觉子网模块识别滚筒截齿上边缘与煤岩分界线的间距；所述的听觉子网模块识别割岩声音并定位声源位置；所述的煤岩界面识别模块融合图像与音频信息，根据识别的割岩声音，进行图像中滚筒截齿上边缘与煤岩分界线间距同声源映射位置的匹配判别，由此确定煤岩分界面的位置。

2.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述输入信号预处理模块由图像与音频的分离单元、图像预处理单元及音频预处理单元组成；所述的图像与音频的分离单元将输入的视频信号分成图像流和音频流，所述的图像预处理单元基于生成对抗网络实现清晰化处理，所述的音频预处理单元基于小波变换将音频流转换为声谱图。

3.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述视觉子网模块由图像特征提取网络及目标图像距离计算单元组成；所述图像特征提取网络提取图像中滚筒截齿的上边缘及煤岩分界线的特征，所述目标图像距离计算单元计算滚筒截齿上边缘与煤岩分界线的间距。

4.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述听觉子网模块由音频特征提取网络及声音的判别单元组成；所述音频特征提取网络提取声谱图中割岩的声音特征，所述声音的判别单元根据割岩声音判别滚筒截齿误入岩层的状态。

5.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述煤岩界面识别模块由视听融合网络、煤岩分界定位单元组成；所述视听融合网络将视觉子网模块输入的图像特征与听觉子网模块输入的割岩声音进行融合，所述煤岩分界定位单元将割岩声音定位映射到图像中的区域同图像中滚筒截齿上边缘与煤岩分界线的间距进行匹配，确定煤岩分界面的位置。