[发明专利]一种大数据在线噪声过滤系统与方法

摘要

本发明涉及大数据、人工智能、机器学习领域，特别涉及一种大数据在线噪声过滤系统与方法，所述方法包括根据数据集中样本分布将数据划分为高密度区域和低密度区域，将低密度区域包括单一标签区域和混合标签区域；将高密度区域和低密度单一标签区域的数据通过多数投票准则判断得到噪声集；判断低密度混合标签区域数据的相异性差值是否超过设置的阈值，若超过则根据相对密度判断数据的噪声；否则将该数据划分为干净样本，从噪声集合中移除；本发明能够在线对传感器数据进行噪声过滤，提高数据质量。