[发明专利]一种不完整物联网数据混合填充方法

摘要

本发明公开了一种不完整数据混合填充方法，包括步骤(1)对数据集中缺失数据值进行特殊值填充预处理；(2)利用栈式自动编码机提取数据属性重要特征；(3)基于提取特征对填充后的数据集进行增量聚类；(4)在得到的每一个聚类结果中利用与缺失数据对象最相似的前k％个对象相应属性值，对其进行属性值加权填充。判断本次所有缺失数据填充值与上一次填充值的差异，迭代更新(2)‑(4)直至满足填充值收敛条件。本发明实施考虑数据集中数据的局部相似特性，数据聚类的精确性，类中数据填充的准确性，以及算法实际应用的非监督性与时效性，构建不完整数据先聚类后填充算法，并利用特殊值填充、栈式自动编码机、增量聚类、类内前k％完整数据对象加权填充等思想保证填充结果的精度和填充算法的速度。

主权项

一种不完整物联网数据混合填充方法，其特征在于，包括如下步骤：(1)对数据集中所有缺失数据属性值进行特殊值填充预处理；在算法执行初始阶段，将数据集中所有缺失数据属性值设置为不同于所有已知数据属性值的一个特殊值；(2)利用栈式自动编码机提取数据对象重要特征以自动编码机为基础模块构建自底向上的栈式自动编码机深度学习网络，并根据逐层训练思想和反向传播算法计算、更新网络参数，提取数据对象的重要特征；在自动编码机训练的过程中，输入数据经过隐藏层，在输出层重构，然后通过反向传播算法更新网路参数，当训练稳定时，在隐藏层保留了重构数据的重要特征；每一层自动编码机提取的数据特征都将作为上一层的输入，继续完成训练过程，最上层提取的特征即为整个栈式学习网络的输出；(3)基于提取的数据特征对填充后的数据集进行增量聚类在聚类初始阶段读取数据特征集的前k条数据作为初始聚类中心，并维护各中心点和中心点间相似度矩阵，从第k+1条数据特征开始，计算其与现有各聚类中心间的相似度，得到相似度最大值maxValue，值越大越相似；如果maxValue小于等于中心点间相似度矩阵的最小值，将当前数据点设定为聚类中心；如果maxValue大于等于中心点间相似度矩阵的最大值，将当前数据点划分到与其最相似的中心点代表的簇中；如果maxValue小于中心点间相似度矩阵最大值，同时大于中心点间相似度矩阵的最小值，合并中心点最相似的两个簇，并将当前数据点设定为新的聚类中心点；更新中心点和中心点间相似度矩阵，继续读取下一条数据直到处理结束；(4)在得到的每一个聚类结果中利用与缺失数据对象最相近的前k％个对象相应属性值，对其进行属性值加权填充；在得到的每一个数据类中判断含有缺失属性值的数据对象比例，如果其超过给定阈值，将类中数据划分到与其最相似的中心点所代表的其他簇中，再在对应类中完成缺失数据填充；如果缺失数据比例小于阈值，则在类中计算含有缺失数据对象与其他对象的相似度，选取相似度最大且对应属性值不缺失的前k％个数据对象，利用其对应属性值进行相似度加权填充；(5)判断本次所有缺失数据填充值与上一次填充值的差异，迭代更新(2)‑(4)直至满足填充值收敛条件；对数据集中所有缺失数据属性值填充结束后，通过比较连续两次填充结果的误差判断算法是否收敛；如果满足算法收敛条件，当前填充结果为算法执行填充最终结果，否则，更新缺失数据填充值为当前计算得到的填充值，重新执行缺失值填充过程。