[发明专利]结合局部信息的不完整数据相似性刻画方法

摘要

本发明提供了一种不完整数据集的相似性刻画方法，针对真实数据信息常存在不完整或不完全的情况，利用数据局部信息的相似性进行缺失(missing)项估计。主要包括六个步骤1、对不完整数据集进行数据预处理，对不完整数据的缺失项进行特征平均值初始化；2、利用核模糊C均值聚类算法(KFCM)对初始化后的数据集进行聚类，并利用凸差(DC)规划对KFCM的非凸目标函数进行优化；3、求得数据聚类中心和隶属度，将数据缺失项等同地视为目标优化变量进行估值；4、利用k近邻填补算法(kNNI)估算数据缺失值；5、将步骤3与4的估值按参数加权，并优化获取最优填补值再次更新缺失项；6、重复步骤2‑5至迭代收敛条件满足。本方法能快速准确地估算出不完整数据中缺失值。

主权项

一种结合局部信息的不完整数据相似性刻画方法，其特征在于，包括下列步骤：第一步，对不完整数据集进行数据预处理，对不完整数据的缺失项进行特征平均值初始化；由数据集中包含缺失项的某列特征计算其已知项的平均值，填写缺失项的值，并在算法的初始化阶段由核模糊C均值聚类算法迭代计算五次得到相应的初始聚类中心和初始隶属度矩阵；第二步，利用核模糊C均值聚类算法(KFCM)对初始化后的数据集合聚类，并利用凸差(DC)规划对KFCM非凸目标函数进行优化；先对聚类中心和数据隶属度的可行域分别凸化处理，将其可行域扩展为相应的凸集；再对KFCM目标函数进行DC分解，将非凸目标函数变为两个凸函数之差的形式；然后利用DCA算法优化上述DC问题，以凸函数与一阶线性函数之和的近似形式逼近凸差化的目标函数，根据对偶理论定义原DC问题和对偶DC问题的关系，微分并投影到凸化可行域，求得算法的聚类中心和隶属度矩阵；第三步，求得数据聚类中心和隶属度，将数据缺失项视为目标优化变量，记录缺失项的行标号和列标号，利用拉格朗日乘子法和KKT条件求取最优值，即对缺失项求目标函数的导数并令其为零，可优化求解得到其最优的估值；第四步，利用k近邻填补算法(kNNI)计算数据缺失项的估计值，将k近邻算法运用到数据填补中，利用与缺失记录最相似k条记录的加权均值作为填补值；第五步，将第三步与第四步的估值按参数加权，并优化获取最优填补值再次更新缺失项；第六步，判断本次缺失项填补值与上一次缺失项填补值之间的差是否小于给定的阈值，迭代更新第二、三、四、五步直至满足收敛条件；对数据集中所有缺失数据项填补更新完成后，通过比较本次与上一次结果之间的误差判断算法是否收敛；若满足算法收敛条件，即误差小于给定阈值，当前更新结果为算法执行的最终结果；否则，更新缺失数据项为当前求得的最优值，重新进行迭代求解过程。