[发明专利]一种基于信息熵的数据填充方法及装置

说明书

本发明实施例提供了一种基于信息熵的数据填充方法及装置，其中，方法包括：对已有数据中属性值完整的完整数据的属性值进行求均值或求众数，得到已有数据中缺少属性值的缺失数据中的预填充属性值；将预填充属性值预填充在缺失数据中，获得预填充后缺失数据；采用硬聚类算法K‑means，对预填充后缺失数据以及完整数据进行聚类，获得与预填充后缺失数据处于同一簇内，且与预填充后缺失数据相似度达到预设条件的完整数据，作为相似完整数据；计算相似完整数据的信息熵；基于信息熵，计算相似完整数据中的属性值对缺失数据的属性值所作贡献的权重；利用权重与相似完整数据的属性值，计算缺失属性值；将缺失属性值填充在缺失数据中。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种基于信息熵的数据填充方法及装置。

背景技术

近年来，随着信息处理技术的发展，通常需要对数据进行处理，但是所处理的数据可能并不完整，比如，工业互联网平台可能采集到数据并不完整。这个工业互联网平台是工业云平台的延伸发展，使得工业设备分别与互联网以及工业云平台建立连接。由于人为失误和互联网的设备故障等因素，使得工业互联网平台从现场的工业设备及互联网中，采集的数据包含不完整的数据。这样，就需要在工业互联网平台上对数据进行分析之前，需要先对不完整的数据进行填充，将填充后的数据传输到工业云平台，从而使用数据分析出诸多信息，比如，检测工业设备的状态。

对于上述不完整的数据进行填充，目前一般采用如下统计学上的均值或众数，对数据中的缺失值进行处理：

获取所有完整的数据的属性值；对所有完整的数据的属性值，求均值或者求众数；将得到的均值或众数，作为数据中的缺失值，并将数据中的缺失值，填充在不完整的数据中。

这种方式实现了对数据中的缺失值进行处理，然而本申请发明人在实现本发明的过程中，采用如下统计学上的均值或众数，对数据中的缺失值进行处理，会存在如下问题：

使用统计学上的均值或众数对缺失值的填充，不具有针对性，会导致数据准确性降低。

发明内容

本发明实施例的目的在于提供一种基于信息熵的数据填充方法及装置，用以解决现有技术中使用统计学上的均值或众数进行缺失值的填充，不具有针对性，会导致数据准确性降低的技术问题。具体技术方案如下：

第一方面，本发明实施提供了基于信息熵的数据填充方法，包括：

对已有数据中属性值完整的完整数据的属性值进行求均值或求众数，得到所述已有数据中缺少属性值的缺失数据中的预填充属性值；

将所述预填充属性值预填充在所述缺失数据中，获得预填充后缺失数据；

采用硬聚类算法K-means，对预填充后缺失数据以及所述完整数据进行聚类，获得与所述预填充后缺失数据处于同一簇内，且与所述预填充后缺失数据相似度达到预设条件的完整数据，作为相似完整数据；

计算所述相似完整数据的信息熵；

基于所述信息熵，计算所述相似完整数据中的属性值对所述缺失数据的属性值所作贡献的权重；

利用所述权重与所述相似完整数据的属性值，计算所述缺失属性值；

将所述缺失属性值填充在所述缺失数据中。

进一步的，所述采用硬聚类算法K-means，对预填充后缺失数据以及所述完整数据进行聚类，获得与所述预填充后缺失数据处于同一簇内，且与所述预填充后缺失数据相似度达到预设条件的完整数据，作为相似完整数据，包括：

采用硬聚类算法K-means中的马氏距离，将预填充后缺失数据以及所述完整数据进行聚类，得到多个簇；

针对每个簇，计算处于同一簇内所述预填充后缺失数据以及所有完整数据之间的相似度；