[发明专利]一种用于大数据清洗的异常检测和消除的方法

说明书

本发明公开了一种用于大数据清洗的异常检测和消除的方法，包括：数据输入模块接收用户输入的企业经营数据报告，从中提取企业经营数据后，发送企业经营数据给指标构建模块和数据处理模块；指标构建模块根据企业经营数据构建出数据分析指标，并将构建出的数据分析指标发送至数据处理模块；数据处理模块接收到数据分析指标和企业经营数据后，根据数据分析指标选取企业经营数据，并对选取的企业经营数据进行分析，得到企业经营指标波动的原因，并将企业经营指标波动的原因和对应的数据发送至数据输出模块；数据输出模块在接收到指标波动原因和对应的数据后，将其按预设的输出模式生成并输出指标波动原因分析报告。

技术领域

本发明涉及数据处理领域，特别涉及一种用于大数据清洗的异常检测和消除的方法。

背景技术

目前，在数据分析的各个领域，无论是企业经营数据，还是社会学科数据分析，甚至是医药数据用量的效果统计，都会涉及到大数据的分析处理，为了得到准确的结果，防止异常数据的干扰，在进行分析之前，还会对大数据进行清洗，而这就需要对混入正常数据中的异常数据进行检测和消除，虽然这种方法可以检测出记录错误、软硬件故障等真实的异常数据，但也会清理掉由于数据单位不统一而造成“异常”的正常数据，造成有效数据的浪费。而这种情况在数据源多样，尤其是数据源在多个国家时尤为明显。

发明内容

为解决以上问题，本发明提供一种用于大数据清洗的异常检测和消除的方法。

本发明提供的一种用于大数据清洗的异常检测和消除的方法，通过异常检测单元和异常消除单元实现，包括步骤：

异常检测单元读取所需清洗的大数据，并从中检测出所有的正常值和所有的异常值；

异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果；

异常消除单元对聚类结果中的每一类别，进行预设的数值变换，得到每一类别的修正结果；

异常检测单元将修正结果和正常值放在一起进行检测，检测出新的正常值和新的异常值；

异常消除单元或异常检测单元保留所述新的正常值并删除其他值，完成大数据的异常检测和消除。

优选的，

所述检测出所有的正常值和异常值，可实施为：

异常检测单元通过基于统计与数据分布的检测方法检测出第一正常值和第一异常值；

异常检测单元通过基于距离/密度的检测方法检测出第二正常值和第二异常值；

异常检测单元将所述第一正常值和所述第二正常值的交集设为正常值；

异常检测单元将所述第一异常值和所述第二正常值的交集设为待修正异常值；

所述异常消除单元读取所述异常值，并对异常值进行聚类分析，得到聚类结果，可实施为：

异常消除单元读取所述待修正异常值，并对待修正异常值进行聚类分析，得到聚类结果。

优选的，

异常检测单元检测所述正常值的数量与所述大数据的数值的数量之比，当所述比值低于预设的阈值时，异常检测单元发出警告提醒，提醒用户重新设置异常检测单元的检测参数。

优选的，所述预设的数值变换，包括：

单位变换。

优选的，所述预设的数值变换，通过以下方法实施：

异常消除单元检测大数据中数据的量纲；

异常消除单元根据所述量纲进行数值变换，所述变换的方法为：

异常消除单元对聚类结果中的每一类别，假定其单位为与正常值所使用的单位不同；