[发明专利]一种基于生成对抗网络的多源异构数据清洗方法

权利要求书

1.基于生成对抗网络的多源异构数据清洗方法，其特征在于，包括：

S1：获取智能生产线的多源异构数据，并将各多源异构数据合成为对应的多源异构数据融合表；

S2：通过聚类分析算法对多源异构数据融合表中残留的冗余数据、异常数据和缺失数据进行分析，进而确定有缺失数据的多源异构数据；

S3：将有缺失数据的多源异构数据输入经过训练的生成对抗网络模型中，输出对应的缺失数据填补矩阵；

S4：通过缺失数据填补矩阵对有缺失数据的多源异构数据进行填充，以实现多源异构数据的融合和清洗。

2.如权利要求1所述的基于生成对抗网络的多源异构数据清洗方法，其特征在于：步骤S1中，将各个多源异构数据对应的数据表导入数据仓库合成对应的多源异构数据融合表；合成过程中，检测并删除存在关联规则错误的异常数据。

3.如权利要求1所述的基于生成对抗网络的多源异构数据清洗方法，其特征在于，步骤S2中，选择改进K-means算法作为聚类分析算法；

改进K-means算法将编辑距离作为数据间相似度的度量指标，进而利用相距最远的数据不属于同一类别的特点来实现通过数据间的最大距离自动确定聚类中心和聚类个数。

4.如权利要求3所述的基于生成对抗网络的多源异构数据清洗方法，其特征在于，步骤S2中，改进K-means算法的工作逻辑如下：

S201：将多源异构数据融合表的记录集合转化为对应的字符串集合A＝{a₁,a₂,…,a_n}，并计算字符串集合中两两字符串间的编辑距离，生成对应的编辑距离结果集合G；

S202：选取编辑距离结果集合G中，距离最大的两个数据对象和作为初始两个聚类S₁和S₂的聚类中心，和之间的距离记为d₁，即

将字符串集合A中除和以外的数据对象，以和为聚类中心进行分类，若a_i∈A且a_i和的编辑距离小于则将a_i划分到S₁，否则a_i划分到S₂；

S203：取S₁中所有数据对象到的编辑距离的最大值d₁₁，即取S₂中所有数据对象到的编辑距离的最大值d₂₂，即

取d₁₁和d₂₂的最大值d₂，记d₂＝max{d₁₁,d₂₂}；

S204：若d₂＞k*d₁，则取对应的数据对象作为第三个聚类S₃的聚类中心

以和作为聚类中心进行聚类划分形成S₁、S₂和S₃三个聚类，即若a_i∈A且则将a_i划分到S₁，若a_i∈A且则将a_i划分到S₂，否则a_i划分到S₃；

S205：取S₁中所有数据对象到的编辑距离的最大值d₁₁，即取S₂中所有数据对象到的编辑距离的最大值d₂₂，即取S₃中所有数据对象到的编辑距离的最大值d₃₃，即

取d₁₁、d₂₂和d₃₃的最大值d₃，记d₃＝max{d₁₁,d₂₂,d₃₃}；

S206：若d₃＞k*(d₂+d₁)÷2，则取对应的数据对象作为第四个聚类S₄的聚类中心以和作为聚类中心进行聚类划分形成S₁、S₂、S₃和S₄四个聚类；

S207：重复步骤S204至S206，直到无法满足聚类条件时，输出对应的数据聚类结果。