[发明专利]一种基于偏差指标的混凝土侵彻深度试验数据异常点检测方法

说明书

本发明涉及一种基于偏差指标的混凝土侵彻深度试验数据异常点检测方法，包括以下步骤：步骤1、数据准备，收集混凝土侵彻深度试验样本以获得试验数据；步骤2、数据预处理，采用混凝土侵彻深度无量纲公式对每个试验样本的试验数据进行无量纲处理；步骤3、建立神经网络，步骤4、神经网络训练和异常点检测，设定偏差指标，根据偏差指标，用神经网络模型计算的无量纲侵彻深度和真实的无量纲侵彻深度进行比较，剔除异常点。本发明是现有技术中率先针对混凝土材料，建立了基于偏差指标的混凝土侵彻深度实验数据异常点检测技术；该技术可识别混凝土侵彻深度实验数据中的异常样本，提高后续数据挖掘处理精度。

技术领域

本发明涉及数据异常检测技术，具体是一种基于偏差指标的混凝土侵彻深度试验数据异常点检测方法。

背景技术

异常检测是指通过数据挖掘手段识别数据中的“异常点”，对数据质量分析和控制具有重要意义，目前在金融领域、网络安全、电商领域和工业界等都得到了广泛应用。数据质量分析和控制主要包括缺失值的修正、异常值的发现和修正以及数据一致性处理等。

没有可信的数据，数据挖掘构建的模型将是空中楼阁。异常点的检测和清除是数据挖掘的重要工作环节，它可以识别出数据源中的故障和错误，以免他们在后续的数据处理过程中逐渐累积，以至于造成错误的挖掘结果。另外，如果元数据中存在异常点，会降低一些数据挖掘算法的效率，可能会在数据模型中引入非正态分布或其它的数据复杂性，从而难以(甚至不可能)以可行的计算方式找到准确的数学模型。因此，在进行后续分析之前，就应该对底层数据库中的数据进行异常值去除处理。

在武器毁伤效应试验中，由于试验条件差别、侧重方向不同、量测技术与标准差异、实验误差、人为因素以及记录和数据录入失误等不可避免的因素，会导致一些样本不符合数据模型的一般规则，或与其它样本存在较大偏差，这些样本即为“数据异常点”。同时，由于武器效应研究具有一定的涉密性，在出版时会对涉密数据的故意修改，特别是诸如AD报告、外军或武器研制单位所发表的文章红研究报告，处于保密需要而对数据局做的调整。另外，其它情报来源所获取的数据，可能存在对方故意加入噪声数据或者假数据，也是常见的数据异常来源之一。

武器毁伤效应数据异常检测的难度主要有几点：

(1)在大多数实际的场景中,数据本身是没有标签的,即数据本身的规律性并没有被发掘,或者一些数据集有标签但标签的可信度非常低,导致放入模型后效果很差,导致无法直接使用一些成熟的有监督学习方法。

(2)对军事演习、训练以及实战数据等,常常存在噪音和异常点混杂在一起的情况难以区分。

(3)在一些欺诈(示伪)检测的场景中,多种诈骗数据都混在一起,很难区分不同类型的诈骗，特别是现在信息化战争条件下的各种数据伪装技术，更对如何识别数据的异常提出新的挑战。

(4)对于一维或者维数较低的数据，定义异常性较为简单。但当数据对象又多个属性(多个维度)时，它很可能在一个属性上正常，另一个属性上异常，此时异常的定义比较困难。而对多数常规武器毁伤效应，其属性都是多维的，属性数越多，定义异常就越困难。

(5)一个数据对象可能全局看是异常，但局部看确实正常的，这可能会导致异常检测错误。

由于没有准确的标签，也没有对具体诈骗(示伪)类型的裂解，就导致数据异常分析中陷入“鸡生蛋”或者“蛋生鸡”的循环之中。要解决这种情况，目前比较常用的手段是将无监督学习方法和专家经验相结合，基于无监督学习得到检测结果，并让专家基于检测结果给出反馈，以此为基础，及时调整模型，反复进行选代，最终得到一个越来越准确的模型。

数据异常点检测算法包括多种，常用的有基于统计建议的方法、基于深度的方法、基于偏差的方法、基于距离的方法、基于密度的方法和深度学习方法等。根据数据类型、数据维度以及异常点特点等因素，可选择不同的算法。常用的方法有基于统计检验的方法、基于深度的方法、基于距离的方法、基于密度的方法与基于偏差的方法等。