[发明专利]一种快速运行的大数据清洗方法

摘要

本发明涉及大数据处理技术领域，具体为一种快速运行的大数据清洗方法，包括数据清洗数据库、预清洗模块和深层清洗模块。该快速运行的大数据清洗方法中，通过建立数据清洗数据库，按照清洗数据的类型建立清洗数据子数据库，同时按照清洗项目的类型建立清洗项目子数据库，能够提供全面的清洗数据和清洗项目信息，通过预清洗模块，根据清洗数据中对应清洗项目频率最大值的清洗项目进行清洗，实现大数据针对性数据清理，减少数据清洗所需要的时间，提高数据清洗效率，通过深度清洗模块，对经过预清洗处理后的数据再次进行全面的数据清洗，提高数据清洗完整度。

主权项

1.一种快速运行的大数据清洗方法，其特征在于，包括如下清洗步骤：S1、数据采集：采集需要清洗的数据和数据清洗的项目；S2、建立数据库：将采集的洗数据类型和数据清洗项目录入数据库内，建立数据清洗数据库；S3、数据分析：通过数据清洗数据库分析数据类型和数据清洗项目之间的关系，并得出每种数据类型中运用频率最大的清洗项目；S4、建立清洗项目数据库：在数据清洗模块内录入多种清洗项目，并建立清洗项目数据库；S5、数据预清洗：将单种数据类型导入数据清洗数据库内，并匹配运用频率最大的清洗项目，进行单独清洗；S6、数据深度清洗：将多种单独清洗后的数据再次导入数据清洗数据库内，进行整体清洗。