[发明专利]一种基于函数依赖和聚类的数据缺失值填补方法

权利要求书

1.一种基于函数依赖和聚类的数据缺失值填补方法，其特征在于，包括以下过程：

S1、对待处理的数据集进行检查，如果数据集存在缺失值，自动将数据集分为完备数据子集D_complete和不完备数据子集D_missing；

S2、对S1中得到的完备数据子集D_complete进行处理，利用HYFD算法获取函数依赖集合FDs，并根据LHS中涉及的属性的个数对函数依赖集合FDs进行升序排序；

S3、判断不完备数据子集D_missing中当前的不完备元组T_missing中的缺失属性是否存在于函数依赖集合FDs的RHS集合中；

S4、基于S3的判断结果，如果缺失属性存在于函数依赖集合FDs的RHS集合中，从函数依赖集合FDs中筛选出RHS集合中含有缺失属性的函数依赖，然后利用每一个函数依赖从S1中得到的完备数据子集D_complete中寻找与不完备元组T_missing相匹配的完备元组T_complete，利用完备元组T_complete中对应的缺失属性的值进行填补；

S5、基于S3的判断结果，如果缺失属性不存在于函数依赖集合FDs的RHS集合中，需要采用改进的AP聚类算法对S1中得到的完备数据子集D_complete进行聚类处理，得到聚类簇；

S6、根据相似度距离S(R_i，R_j)计算不完备元组T_missing与每一个聚类簇中心的相似度距离，将不完备元组T_missing分配到与之最相近的聚类簇中，然后在该聚类簇中利用KNN算法和相似性计算公式s(i，k)寻找到与不完备元组T_missing最邻近的完备元组T_complete，利用最邻近的完备元组T_complete对缺失值进行填补；

S7、对经过填补后的数据集再次进行检查，如果填补后的数据集中含有缺失值重复S1-S6，直至填补后的数据集中不含有缺失值。

2.根据权利要求1所述的基于函数依赖和聚类的数据缺失值填补方法，其特征在于，所述S5中聚类处理的具体过程为：

S51、计算出完备数据子集D_complete中数据点之间的相似性s(i，k)以组成相似性矩阵S；

S52、计算出完备数据子集D_complete中数据点之间的代表信息r(i，k)和适选信息a(i，k)，将a(i，k)初始化为0，将r(i，k)初始化为数据点i与数据点k之间的相似性s(i，k)和数据点i与其他数据点之间的最大相似性的差值；

S53、在后续的迭代过程中对a(i，k)和r(i，k)进行不断地更新，达到某指定的阈值时终止迭代过程，得到最终的聚类簇。