[发明专利]一种快速运行的大数据清洗方法

说明书

本发明涉及大数据处理技术领域，具体为一种快速运行的大数据清洗方法，包括数据清洗数据库、预清洗模块和深层清洗模块。该快速运行的大数据清洗方法中，通过建立数据清洗数据库，按照清洗数据的类型建立清洗数据子数据库，同时按照清洗项目的类型建立清洗项目子数据库，能够提供全面的清洗数据和清洗项目信息，通过预清洗模块，根据清洗数据中对应清洗项目频率最大值的清洗项目进行清洗，实现大数据针对性数据清理，减少数据清洗所需要的时间，提高数据清洗效率，通过深度清洗模块，对经过预清洗处理后的数据再次进行全面的数据清洗，提高数据清洗完整度。

技术领域

本发明涉及大数据处理技术领域，具体为一种快速运行的大数据清洗方法。

背景技术

随着大数据时代的到来，海量数据的不断剧增给，各个行业可通过大数据技术的支持，实现对现有资源的整合和重新调整，提高行业运行效率，挖掘产业巨大潜力，然而现有的数据清洗技术方案多为大数据信息整体进行清洗，并无法根据数据的类型进行针对性清洗，导致大数据清洗效率低，耗时久。鉴于此，我们提出一种快速运行的大数据清洗方法。

发明内容

本发明的目的在于提供一种快速运行的大数据清洗方法，以解决上述背景技术中提出的数据清洗技术方案多为大数据信息整体进行清洗，并无法根据数据的类型进行针对性清洗，导致大数据清洗效率低，耗时久的问题。

为实现上述目的，本发明提供一种快速运行的大数据清洗方法，包括如下清洗步骤：

S1、数据采集：采集需要清洗的数据和数据清洗的项目；

S2、建立数据库：将采集的洗数据类型和数据清洗项目录入数据库内，建立数据清洗数据库；

S3、数据分析：通过数据清洗数据库分析数据类型和数据清洗项目之间的关系，并得出每种数据类型中运用频率最大的清洗项目；

S4、建立清洗项目数据库：在数据清洗模块内录入多种清洗项目，并建立清洗项目数据库；

S5、数据预清洗：将单种数据类型导入数据清洗数据库内，并匹配运用频率最大的清洗项目，进行单独清洗；

S6、数据深度清洗：将多种单独清洗后的数据再次导入数据清洗数据库内，进行整体清洗。

作为优选，所述数据清洗数据库包括采集数据模块、数据保存模块和数据分析模块；

所述采集数据模块用于采集需要清洗的数据和数据清洗的项目；

所述数据保存模块用于将采集需要清洗的数据和数据清洗的项目保存至数据清洗数据库内；

所述数据分析模块用于分析清洗数据类型和数据清洗项目之间的关系。

作为优选，所述数据分析模块包括数据类型分类模块、清洗项目分类模块、频率计算模块和主清洗项目计算模块；

所述数据类型分类模块用于在数据清洗数据库内按照清洗数据的类型建立清洗数据子数据库；

所述清洗项目分类模块用于在数据清洗数据库内按清洗项目的类型建立清洗项目子数据库；

所述频率计算模块用于每个清洗数据子数据库所对应的清洗项目子数据库频率；

所述主清洗项目计算模块用于计算每个清洗数据子数据库所对应频率最大的清洗项目子数据库。

作为优选，所述数据清洗模块包括清洗项目数据库、预清洗模块和深层清洗模块；

所述清洗项目数据库用于录入多种清洗项目；

所述预清洗模块用于对单种数据进行单独清洗；

所述深层清洗模块用于对多种数据进行整体清洗。