[发明专利]一种分层清洗式大数据清洗方法

摘要

本发明涉及大数据处理技术领域，具体为一种分层清洗式大数据清洗方法，包括清洗数据库、数据分析模块和数据清洗模块。该分层清洗式大数据清洗方法中，通过设置清洗项目计算模块计算每个清洗数据子数据库所对应的清洗项目子数据库频率顺序，按照不同类型的清洗数据对应的清洗项目顺序进行清洗，实现分层化数据清洗，提高数据清洗效率，通过设置生成清洗项目排序模块用于对不同类型的清洗数据生成相对应的清洗项目，按照升序排列算法，计算得出每个类型数据中清洗项目的升序排列，清洗时，先清洗频率较高的数据项目，进一步提高清洗的效率。

主权项

1.一种分层清洗式大数据清洗方法，其特征在于，包括如下清洗步骤：S1、数据采集：采集需要清洗的数据和数据清洗的项目；S2、建立数据库：将采集需要清洗的数据和数据清洗的项目录入数据库内，建立清洗数据库；S3、建立子数据库：按照清洗数据的类型建立清洗数据子数据库，按照清洗项目的类型建立清洗项目子数据库；S4、数据分析：分析不同清洗项目和清洗数据类型的频率关系；S5、清洗项目排序：为不同类型的清洗数据建立清洗项目顺序关系；S6、清洗数据：通过数据清洗模块，按照建立清洗项目顺序关系对不同类型的清洗数据进行清洗。