[发明专利]基于图像与声音融合的煤岩界面定位识别方法

说明书

本发明公开了一种基于图像与声音融合的煤岩界面定位识别方法，该方法直接面向煤岩界面识别任务，通过模拟采煤机司机利用视觉与听觉两种模态进行煤岩界面识别，从采煤场景视频中将滚筒截齿误入岩石的深度同割岩声音映射到图像中的定位距离进行匹配，由此确定煤岩分界面的位置，从而使得该方法具有较高的识别稳定性和识别正确率，为自动化采掘生产过程提供可靠的煤岩界面识别信息。

技术领域

本发明属于煤岩界面识别方法领域，尤其涉及一种基于图像与声音融合的煤岩界面定位识别方法。

背景技术

煤岩界面识别即用一种方法自动识别出煤岩对象的分界面。在煤炭生产过程中，煤岩界面识别技术可广泛应用于滚筒采煤、掘进、放顶煤开采等生产环节，对于减少采掘工作面作业人员、减轻工人劳动强度、改善作业环境、实现煤矿安全高效生产具有重要意义。

已有多种煤岩界面识别方法，如自然γ射线探测法、雷达探测法、应力截齿法、红外探测法、有功功率监测法、震动检测法、声音检测法、粉尘检测法、记忆截割法等，但这些方法存在以下问题：①需要在现有设备上加装各类传感器获取信息，导致装置结构复杂，成本高。②采煤机滚筒、掘进机等设备在生产过程中受力复杂、振动剧烈、磨损严重、粉尘大，传感器部署比较困难，容易导致机械构件、传感器和电气线路受到损坏，装置可靠性差。③对于不同类型机械设备，传感器的最佳类型和信号拾取点的选择存在较大区别，需要进行个性化定制，系统的适应性差。

为解决上述问题，计算机视觉技术越来越受到重视并研发了一些基于图像技术的煤岩界面识别方法，然而已有方法只是通过视觉这一单独的模态进行识别，这往往受到煤矿井下光照、粉尘等的影响，致使在识别正确率和识别稳定性上还有很大的不足。

因此，需要一种解决或至少改善现有技术中固有的一个或多个问题的煤岩界面识别方法。

发明内容

本发明的目的在于提供一种基于图像与声音融合的煤岩界面定位识别方法，该方法直接面向煤岩界面识别任务，模拟采煤机司机利用视觉与听觉两种模态进行煤岩界面识别，从采煤场景视频中将滚筒截齿误入岩石的深度同割岩声音投影到图像中的定位距离进行匹配，由此确定煤岩分界面的位置。该方法较为简洁且具有较高的识别正确率和识别稳定性，为自动化采掘生产过程提供可靠的煤岩界面识别信息。

根据一种实施例形式，提供一种基于图像与声音融合的煤岩界面定位识别方法，其特征在于：包括输入信号预处理模块、视觉子网模块、听觉子网模块、煤岩界面识别模块；所述输入信号预处理模块将摄像机所获取的采煤机滚筒切割煤岩时的视频分成图像流和音频流，将所述的图像流处理后输入视觉子网模块，将所述的音频流转换为声谱图后输入听觉子网模块；所述的视觉子网模块识别滚筒截齿上边缘与煤岩分界线的间距；所述的听觉子网模块识别割岩声音并定位声源位置；所述的煤岩界面识别模块融合图像与音频信息，根据识别的割岩声音，进行图像中滚筒截齿上边缘与煤岩分界线间距同声源映射位置的匹配判别，由此确定煤岩分界面的位置。

在进一步特定的但非限制性的形式中，所述输入信号预处理模块由图像与音频分离单元、图像预处理单元及音频预处理单元组成；所述的图像与音频的分离单元将输入的视频信号分成图像流和音频流，所述的图像预处理单元基于生成对抗网络实现清晰化处理，所述的音频预处理单元基于小波变换将音频流转换为声谱图。

在进一步特定的但非限制性的形式中，所述视觉子网模块由图像特征提取网络及目标图像距离计算单元组成；所述图像特征提取网络提取图像中滚筒截齿的上边缘与煤岩分界线的特征，所述目标图像距离计算单元计算滚筒截齿上边缘与煤岩分界线的间距。

在进一步特定的但非限制性的形式中，所述听觉子网模块由音频特征提取网络及声音的判别单元组成；所述音频特征提取网络提取声谱图中割岩的声音特征，所述声音的判别单元根据割岩声音判别滚筒截齿误入岩层的状态。