[发明专利]一种分层清洗式大数据清洗方法

说明书

本发明涉及大数据处理技术领域，具体为一种分层清洗式大数据清洗方法，包括清洗数据库、数据分析模块和数据清洗模块。该分层清洗式大数据清洗方法中，通过设置清洗项目计算模块计算每个清洗数据子数据库所对应的清洗项目子数据库频率顺序，按照不同类型的清洗数据对应的清洗项目顺序进行清洗，实现分层化数据清洗，提高数据清洗效率，通过设置生成清洗项目排序模块用于对不同类型的清洗数据生成相对应的清洗项目，按照升序排列算法，计算得出每个类型数据中清洗项目的升序排列，清洗时，先清洗频率较高的数据项目，进一步提高清洗的效率。

技术领域

本发明涉及大数据处理技术领域，具体为一种分层清洗式大数据清洗方法。

背景技术

随着大数据时代的到来,海量数据的不断剧增给，各个行业可通过大数据技术的支持,实现对现有资源的整合和重新调整,提高行业运行效率,挖掘产业巨大潜力，然而现有的数据清洗技术方案多为大数据信息整体进行清洗，由于大数据中，数据信息含量巨大，导致数据清洗效率低，耗时久。鉴于此，我们提出一种分层清洗式大数据清洗方法。

发明内容

本发明的目的在于提供一种分层清洗式大数据清洗方法，以解决上述背景技术中提出的由于大数据中，数据信息含量巨大，导致数据清洗效率低，耗时久的问题。

为实现上述目的，本发明提供一种分层清洗式大数据清洗方法，包括如下清洗步骤：

S1、数据采集：采集需要清洗的数据和数据清洗的项目；

S2、建立数据库：将采集需要清洗的数据和数据清洗的项目录入数据库内，建立清洗数据库；

S3、建立子数据库：按照清洗数据的类型建立清洗数据子数据库，按照清洗项目的类型建立清洗项目子数据库；

S4、数据分析：分析不同清洗项目和清洗数据类型的频率关系；

S5、清洗项目排序：为不同类型的清洗数据建立清洗项目顺序关系；

S6、清洗数据：通过数据清洗模块，按照建立清洗项目顺序关系对不同类型的清洗数据进行清洗。

作为优选，所述清洗数据库包括采集数据模块、数据保存模块和数据分析模块；

所述采集数据模块用于采集需要清洗的数据和数据清洗的项目；

所述数据保存模块用于将需要清洗的数据和数据清洗的项目保存至清洗数据库内；

所述数据分析模块用于分析清洗数据类型和数据清洗项目之间的频率关系。

作为优选，所述数据分析模块包括数据类型子数据库、清洗项目子数据库、频率计算模块和清洗项目计算模块；

所述数据类型子数据库用于在清洗数据库内按照清洗数据的类型建立数据类型子数据库；

所述清洗项目子数据库用于在清洗数据库内按清洗项目的类型建立清洗项目子数据库；

所述频率计算模块用于计算每个数据类型子数据库所对应的清洗项目子数据库频率；

所述清洗项目计算模块用于计算每个清洗数据子数据库所对应的清洗项目子数据库频率顺序。

作为优选，所述清洗项目计算模块包括导入清洗数据模块、导入清洗项目模块、排列清洗项目模块和生成清洗项目排序模块；

所述导入清洗数据模块用于按类型导入清洗数据；

所述导入清洗项目模块用于导入清洗的项目；

所述排列清洗项目模块用于按清洗项目使用的频率排列清洗项目顺序；

所述生成清洗项目排序模块用于对不同类型的清洗数据生成相对应的清洗项目。