[发明专利]基于自监督预训练的道路病害检测方法和系统

说明书

本发明公开了一种基于自监督预训练的道路病害检测方法，其中，方法包括：充分利用所有数据，根据其数据变换的方式形成伪标签，利用伪标签对特征提取器进行预训练，然后将特征提取器参数迁移到有监督模型中，利用带真实标注的病害数据对模型的参数进行更新，最后用于道路病害分类。该方法可以根据不同的场景使用不同的特征提取器和分类器。本发明还包括实施一种基于自监督预训练的道路病害检测方法的系统。本发明将自监督预训练的框架引入到交通道路检测领域，解决了道路病害样本稀缺带来的监督信息不足问题，从而能够提升病害检测准确率。

技术领域

本发明涉及交通病害检测领域，具体涉及一种基于自监督预训练的道路病害检测方法和系统。

背景技术

随着道路交通的高速发展，大量的道路在使用过程中会受到各种自然环境的影响，例如雨雪，高温，冰冻等等影响；同时也存在道路的超载以及未进行定期维护的问题，导致道路经常出现各种病害，例如在路表出现横裂，龟裂。为了保障道路车辆的安全运行以及延长道路的使用寿命，道路病害检测与识别技术起到了十分重要的作用。而基于人工判别的病害检测非常依赖于个人的经验水平，同时无法长时间保持较高的分类准确率，另外也无法做到实时性。

随着目前深度学习的发展，采用基于深度学习算法的自动检测手段最近都开始逐步应用到道路病害检测领域当中。深度学习方法其优异的性能非常依赖于大量带标注的样本进行训练，但在交通领域，由于存在数据采集困难，标注成本较高的问题，使得可用的标记数据少。因此面对交通领域常见的标注数据不足，深度学习模型中的大量参数由于得到不充分的监督信息，非常容易对小样本数据产生的过拟合现象，使在进行病害预测时性能严重下降。

发明内容

本发明针对上述交通小样本带来的监督信息缺乏而导致深度学习模型表现不足的问题，提出的一种基于自监督预训练的道路病害检测方法和系统。

本发明通过设计自监督任务来充分利用所有数据(无论是否带有人工标注)，学习所有交通样本本身中更多的有用特征,包括语义信息。再将自监督任务训练的特征提取器参数迁移到有监督模型中，利用带标注的交通数据进行模型的微调，最终可以提高小样本情景下交通病害预测的性能。

本发明所采用的技术方案如下：

基于自监督预训练的道路病害检测方法，包括如下步骤：

1、构造自监督辅助任务：给定所有的样本集合为{X}，在一系列的数据变换操作集合中选取C_self种变换，记为{T}。将选取的数据变换操作应用于所有的样本，得到了变换操作后的样本集合{X'}，其中X'＝T_i(X),i＝{0,1,2,…,(C_self-1)}。同时将根据变换操作的类型设置样本集合{X'}对应的伪标签{Y'}，其中某一个样本对应的伪标签y_j'＝i,i＝{0,1,2,…,(C_self-1)}；

2、预训练模型：利用步骤1中得到的数据集对给定的特征提取器和分类器进行训练，使用如下的目标函数来更新其中的参数：

其中，F(x_j；θ)表示特征提取器，x_j为数据变换后的样本，G_self(w)表示使用的分类器，loss()表示损失函数，y_j'为样本使用的数据变换方式，即伪标签。

3、参数保存：保存步骤(2)中得到的预训练参数；

4、训练有监督模型：直接加载步骤(3)中保存的参数，对于按照病害类别分类的原始数据集进行特征提取，根据真实病害标注对特征提取器参数进行训练，使用如下的目标函数来更新其中的参数：