[发明专利]一种用于大数据清洗的异常检测和消除的方法

摘要

本发明公开了一种用于大数据清洗的异常检测和消除的方法，包括：数据输入模块接收用户输入的企业经营数据报告，从中提取企业经营数据后，发送企业经营数据给指标构建模块和数据处理模块；指标构建模块根据企业经营数据构建出数据分析指标，并将构建出的数据分析指标发送至数据处理模块；数据处理模块接收到数据分析指标和企业经营数据后，根据数据分析指标选取企业经营数据，并对选取的企业经营数据进行分析，得到企业经营指标波动的原因，并将企业经营指标波动的原因和对应的数据发送至数据输出模块；数据输出模块在接收到指标波动原因和对应的数据后，将其按预设的输出模式生成并输出指标波动原因分析报告。

主权项

一种用于大数据清洗的异常检测和消除的方法，通过异常检测单元和异常消除单元实现，其特征在于，包括步骤：异常检测单元读取所需清洗的大数据，并从中检测出所有的正常值和所有的异常值；异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果；异常消除单元对聚类结果中的每一类别，进行预设的数值变换，得到每一类别的修正结果；异常检测单元将修正结果和正常值放在一起进行检测，检测出新的正常值和新的异常值；异常消除单元或异常检测单元保留所述新的正常值并删除其他值，完成大数据的异常检测和消除。