[发明专利]一种大数据在线噪声过滤系统与方法

说明书

本发明涉及大数据、人工智能、机器学习领域，特别涉及一种大数据在线噪声过滤系统与方法，所述方法包括根据数据集中样本分布将数据划分为高密度区域和低密度区域，将低密度区域包括单一标签区域和混合标签区域；将高密度区域和低密度单一标签区域的数据通过多数投票准则判断得到噪声集；判断低密度混合标签区域数据的相异性差值是否超过设置的阈值，若超过则根据相对密度判断数据的噪声；否则将该数据划分为干净样本，从噪声集合中移除；本发明能够在线对传感器数据进行噪声过滤，提高数据质量。

技术领域

本发明涉及大数据、人工智能、机器学习领域，特别涉及一种大数据在线噪声过滤系统与方法。

背景技术

近年来，人工智能技术发展迅速，机器学习技术也越趋成熟。机器学习的发展得益于大数据时代的海量训练样本。而样本集的质量是影响机器学习算法效率的一个重要因素。由于数据采集异常或者数据标注人员专业水平差异等原因，数据集中或多或少包含噪声样本。标签噪声是监督学习、半监督学习中不可忽略的问题。

目前处理标签噪声的方法主要有算法级的鲁棒性建模和数据级的噪声过滤。鲁棒性建模是指从算法层面构建不易受标签噪声影响的鲁棒性模型，但很多鲁棒性模型对标签噪声并不完全鲁棒。噪声过滤一般是通过模型预测的方法对噪声数据进行检测并移除，但建立噪声预测模型所使用到的数据本身含有标签噪声，使得模型预测可靠性不强。

发明内容

针对上述问题，本发明提出一种大数据在线噪声过滤系统与方法，由多个传感器构成的数据采集端将数据实时发送到客户端，客户端将数据提交到Spark平台，Spark平台对接收的数据集进行预处理，对预处理后的数据集进行以下步骤：

根据数据集中样本分布将数据划分为高密度区域和低密度区域，将低密度区域包括单一标签区域和混合标签区域；

将高密度区域和低密度单一标签区域的数据通过多数投票准则判断得到噪声集；

判断低密度混合标签区域数据的相异性差值是否超过设置的阈值，若超过则根据相对密度判断数据的噪声；否则将该数据划分为干净样本，从噪声集合中移除。

进一步的，根据数据集中样本分布进行样本划分包括：计算样与其近邻样本之间的距离，当该距离大于设置的阈值，则该数据为低密度区域，否则为高密度区域；计算低密度区域内数据的局部标签熵，当该熵小于设置的阈值，则属于低密度单一标签区域，否则属于低密度混合标签区域。

优选的，判断数据是否为低密度区域时设置的阈值为数据集中任意两个样本最大距离的10％分位数。

进一步的，判断低密度区域内数据的局部标签熵时设置的阈值为该数据与其k个近邻数据的平均距离，其中数据的局部标签熵表示为：

其中，为标签信息熵；P_s为待判定样本的k近邻区域内，与待判定样本标签相同的概率；P_d为待判定样本的k近邻区域内，与待判定样本标签不同的概率，k为近邻样本数。

进一步的，通过多数投票准则判断得到噪声集包括：如果待测样本的k近邻区域中同类样本的数量大于一半，则认为该样本为干净样本；否则认为该样本为噪声样本。

进一步的，根据相对密度判断数据的噪声时，若数的相对密度大于1时，将其视为噪声样本，相对密度表示为：

其中，Relative_density(D(x_i))为数据x_i的相对密度；dis(x_i，x_j)为样本x_i与样本x_j的距离；k为近邻样本数；y_i为样本xi的标签。