[发明专利]深层次自我学习网络实现矿车空满状态的检测方法和系统

说明书

本发明公开了一种深层次自我学习网络实现矿车空满状态的检测方法，包括以下步骤：输入多个矿车或非矿车的状态图像并存储为样本库；对样本库进行衍生扩充；构建深层次学习网络对监控图像进行采集，依据衍生扩充后的样本库对监控图像进行分析比对，将监控图像与样本库内存储的矿车空状态图像、矿车满状态图像分别和矿车状态图像比对差别，根据比对差别将图像存入样本库中矿车空状态图像样本库、矿车满状态图像样本库或非矿车状态图像样本库；将采集的图像进行衍生扩充样本库的相应样本库中。本发明具有如下优点：能准确地通过摄像头监控，检测出矿车载矿的空满状态，减少人工干预，实现矿车作业自动化管理。

技术领域

本发明涉及机器学习方法应用于矿场中矿车智能化作业中，实现矿车载矿空满二值状态的自动化检测。特别适合于在复杂多变条件下，包括存在光照强度变化，矿尘干扰以及矿车位置随意变化，需要能准确地通过摄像头监控，检测出矿车载矿的空满状态，减少人工干预，实现矿车作业自动化管理的场景。

背景技术

目前，实现矿山作业的智能化和自动化管理，可以极大地提高采矿，运矿的效率。而其中矿车空满状态的自动化检测，可以为矿车调度提供准确信息，进而可以优化矿车调度，提高矿车的利用效率。但是，在实际的矿场作业中，矿车所处的环境条件非常复杂多变。露天作业带来的光照变化，矿尘带来的视觉模糊，以及矿车停放的随意性，都会干扰矿车的视频监控。如何准确地检测出矿车载矿的空满状态，是一个具有挑战性而又非常有意义的问题。

采用机器学习，来检测矿车的空满状态，是一种非常有效的检测办法。机器学习能够对各种复杂条件进行样本学习，通过学习大量样本，可以提升学习器的泛化能力和检测分类能力，进而可以高鲁棒性地对矿车的空满状态进行检测。在应用于矿车空慢状态检测的过程中，涉及到机器学习器的设计。设计出鲁棒性的，且具有很强泛化能力的学习器对矿车的监控检测具有非常大的意义。在不同的矿场中和同一个矿车的不同时间段，矿车所处的情景是不同的。制作大量的学习样本，需要非常高的人工标注成本，这对矿车的智能化作业是一个不小的问题。因此，设计的学习器应该具有在线的自我学习能力，能够实时的更新自己的样本库，就可以减少人工干预，从而非常实用地满足矿车载矿状态的检测情景。

在学习器的设计和研究中，Hinton等人在“ImageNet Classification with DeepConvolutional Neural Networks’(Neural Information Processing Systems 2012),专门设计了基于深层次网络学习结构的机器学习器，通过监督学习的方式，可以实现非常高的物件分类精度。他们基于深层次网络学习的工作，为高精度鲁棒性的机器学习器的设计打开了一个新的视角。随后，深层次学习网络在许多的领域包括图像识别，语音识别以及自然文字处理，取得了巨大的成功。但是这类机器学习器，需要大量的样本进行离线训练。同时离线训练生成的分类器，无法在线地学习实际矿车监控场景的变化情况，而仅是通过大量训练样本的多样性和差异性来增强学习的泛化能力。此外，这类机器学习方法，从大量静态样本图片的基本像素出发，去学习图像中角点，边缘等信息，进而构建高层语义，在学习上有一定的盲目性。直接应用于具有时间维度的监控视频序列，无法很好地挖掘时间维度上，待检测或待分类物体在结构，色彩等信息上的变化。因此，针对具有高相关性的监控视频序列，在矿山智能化作业下实现矿车空满状态的检测，需要设计专门的深层次网络学习结构，来充分挖掘时间维度上的信息，进而提高检测分类的精度。

此外，正如我们上面的阐述，为了提高检测分类的鲁棒性，深层次学习网络应该具有在线学习的能力，在矿车监测的过程中，能够在线地对周围场景的变化做出正确的学习，排除干扰。在在线学习机制方面，Severin等人在“Beyond Semi-Supervised Tracking:Tracking Should Be as Simple as Detection,but not Simpler than Recognition”中，通过在线学习候选区域的以及周边区域，实现了浅层网络的自我学习。本专利针对矿车作业关于矿车载矿空满状态的监控，着重从深层次网络学习结构设计和自我学习机制这两方面着手，提出了基于深层次自我学习的矿车空满状态鲁棒性检测方法。