[发明专利]一种数据清洗方法及装置

权利要求书

1.一种数据清洗方法，其特征在于，包括如下步骤：

步骤S1，设置清洗规则节点，其中，所述清洗规则节点用于表现数据流转过程中的筛选标准；

步骤S2，获取待清洗数据，包括：根据对数据血缘关系分析，获得待清洗数据中的待清洗数据库、表和字段；

步骤S3，接入待过滤的数据，包括：将所述待清洗数据库、表和字段从数据流入节点出来向主节点汇聚，再从主节点流出向数据流出节点扩散；

步骤S4，新建数据库，包括：将清洗处理得到的数据录入建立的数据库中，并对数据库进行优化，得到原始数据库。

2.如权利要求1所述的数据清洗方法，其特征在于，在所述步骤S1中，所述清洗规则节点的筛选标准：量的数据分布在不同的位置，每个位置对数据质量的要求均不同，数据接收方根据自己对数据的要求过滤接入的数据，以形成数据标准，根据上述标准进行数据清洗。

3.如权利要求1所述的数据清洗方法，其特征在于，所述获取待清洗数据包括转换规则节点和数据归档销毁规则节点，转换规则节点采用特殊标记表示，位于数据流转线路上，用于表现数据流转过程中发生的变化和变换。

4.如权利要求3所述的数据清洗方法，其特征在于，所述数据归档销毁规则节点，当数据不再具备使用价值，或者归档或者直接销毁，设计条件判断数据是否还具备使用价值，进而归档或销毁。

5.如权利要求1所述的数据清洗方法，其特征在于，所述获得待清洗数据中待清洗数据库、表和字段是数据的存储结构。

6.如权利要求1所述的数据清洗方法，其特征在于，所述数据血缘关系分析中血缘关系层次不同，数据信息不同，所有层次只有所有者的信息，其他的层次则包括所有者信息和数据层次信息或者终端信息。

7.一种数据清洗装置，其特征在于，包括获取模块、处理模块、数据清洗模块、录入模块，其中，

所述获取模块、所述处理模块、所述数据清洗模块、所述录入模块和docker容器依次电性安装在电路板上，且所述电路板安装在壳框内，所述壳框顶部表面设置有三个插接端口；

所述获取模块用于设置清洗规则节点，并获取待清洗数据，根据所述待清洗数据中噪声数据分布的分析，获得所述待清洗数据中的待清洗数据库、表和字段；

所述处理模块用于将所述待清洗数据库、表和字段从数据流入节点出来向主节点汇聚，再从主节点流出向数据流出节点扩散；

所述数据清洗模块用于对待清洗数据库、表和字段进行数据清洗；

所述录入模块用于将清洗处理得到的数据录入建立的数据库中，并对数据库进行优化，得到原始数据库。

8.如权利要求7所述的数据清洗装置，其特征在于，还包括：docker容器和docker镜像，所述docker容器电性安装在电路板上。

9.如权利要求8所述的数据清洗装置，其特征在于，所述docker为由docker镜像创建的运行实例，其中，所述docker容器执行启动、停止和删除操作，每个docker容器之间相互隔离，所述docker容器中运行特定的运用，包括：特定应用的代码和所需的依赖文件。

10.如权利要求8所述的数据清洗装置，其特征在于，所述docker镜像由多层的系统文件组成，所述docker镜像基于docker文件构建，包括：多条密令的描述文件，每条命令均会对基础文件系统创建新的层次结构。