[发明专利]一种基于信息熵的数据填充方法及装置

权利要求书

1.一种基于信息熵的数据填充方法，其特征在于，包括：

对已有数据中属性值完整的完整数据的属性值进行求均值或求众数，得到所述已有数据中缺少属性值的缺失数据中的预填充属性值；

将所述预填充属性值预填充在所述缺失数据中，获得预填充后缺失数据；

采用硬聚类算法K-means，对预填充后缺失数据以及所述完整数据进行聚类，获得与所述预填充后缺失数据处于同一簇内，且与所述预填充后缺失数据相似度达到预设条件的完整数据，作为相似完整数据；

计算所述相似完整数据的信息熵；

基于所述信息熵，计算所述相似完整数据中的属性值对所述缺失数据的属性值所作贡献的权重；

利用所述权重与所述相似完整数据的属性值，计算缺失属性值；

将所述缺失属性值填充在所述缺失数据中。

2.如权利要求1所述的方法，其特征在于，所述采用硬聚类算法K-means，对预填充后缺失数据以及所述完整数据进行聚类，获得与所述预填充后缺失数据处于同一簇内，且与所述预填充后缺失数据相似度达到预设条件的完整数据，作为相似完整数据，包括：

采用硬聚类算法K-means中的马氏距离，将预填充后缺失数据以及所述完整数据进行聚类，得到多个簇；

针对每个簇，计算处于同一簇内所述预填充后缺失数据以及所有完整数据之间的相似度；

查找所述预设条件为相似度由高到低的顺序，处于前M名的相似度对应的完整数据，作为相似完整数据，M为大于0的自然数。

3.如权利要求2所述的方法，其特征在于，所述针对每个簇，计算处于同一簇内所述预填充后缺失数据以及所有完整数据之间的相似度，包括：

所述预填充后缺失数据包括多个属性，每个属性对应一个属性值，所述完整数据包括多个属性，每个属性对应一个属性值；

计算同一簇内的预填充后缺失数据的每个属性，分别与完整数据的每个属性之间的属性相似度；

获取用于指示所述缺失数据实际缺失的属性值的变量；

利用所述属性相似度及所述实际缺失的属性值的变量，针对每个簇，计算得到处于同一簇内所述预填充后缺失数据以及所有完整数据之间的相似度。

4.如权利要求1所述的方法，其特征在于，所述基于所述信息熵，计算所述相似完整数据中的属性值对所述缺失数据的属性值所作贡献的权重，包括：

针对全部相似完整数据中的每个相似完整数据，将该相似完整数据的信息熵，在全部相似完整数据的信息熵的占比，分别确定为该相似完整数据中的属性值，对所述缺失数据的属性值所作贡献的权重。

5.如权利要求1或4所述的方法，其特征在于，所述计算所述相似完整数据的信息熵，包括：

将获取的多个相似完整数据采用如下公式进行单位化：

其中，p_i为相似完整数据源发生不确定性的概率，i为不同相似完整数据的标识，i共有t个，i＝1,2,…,t，t为相似完整数据的个数，s_i为第i个相似完整数据；

采用如下公式，计算每个相似完整数据的熵值：

h_i＝-p_ilnp_i,i＝1,2,…,t

其中，h_i为相似完整数据的信息熵；

基于所述信息熵，采用如下公式，计算所述相似完整数据中的属性值，对所述缺失数据的属性值所作贡献的权重：

其中，w_i为所述相似完整数据中的属性值，对所述缺失数据的属性值所作贡献的权重；

利用权重与相似完整数据的属性值，采用如下公式，计算缺失属性值：

其中，f为缺失数据中填充的缺失属性值，x_i为与缺失数据的相似完整数据对应的属性值。