[发明专利]一种大数据实例约简方法、装置、电子设备及存储介质

权利要求书

1.一种大数据实例约简方法，其特征在于，包括：

对预设的初始大数据集进行逻辑分块，得到逻辑数据块；

分别对每个所述逻辑数据块进行聚类，得到多个目标类簇；

采用最优样本大小算法确定每个所述目标类簇的最优抽样规模；

获取每个目标类簇的目标聚类中心和目标重心；

以所述目标聚类中心和所述目标重心为基础，结合所述最优抽样规模生成所述初始大数据集的最优极小样本数据集；

将所述最优极小样本数据集作为所述初始大数据集的约简结果。

2.根据权利要求1所述的方法，其特征在于，每个所述逻辑数据块均具有多个数据实例；所述分别对每个所述逻辑数据块进行聚类，得到多个目标类簇的步骤，包括：

采用最大最小距离法选取所述逻辑数据块的若干个初始聚类中心；

以每个所述初始聚类中心为基础对所述逻辑数据块进行聚类，得到若干个初始类簇；

计算每个所述初始类簇的初始重心，并根据所述初始重心计算所述逻辑数据块的初始误差平方和；

以所述初始重心对应的数据实例作为新的聚类中心进行聚类，得到更新类簇；

计算每个所述更新类簇的更新重心，并根据所述更新重心计算所述逻辑数据块的更新误差平方和；

判断所述初始误差平方和与所述更新误差平方和的差值的绝对值是否小于预设阈值；

若是，将所述更新类簇作为所述逻辑数据块的目标类簇。

3.根据权利要求2所述的方法，其特征在于，还包括：

若所述初始误差平方和与所述更新误差平方和的差值的绝对值不小于所述预设阈值，则将所述更新误差平方和作为所述初始误差平方和，将所述更新重心作为所述初始重心，并返回以所述初始重心对应的数据实例作为新的聚类中心进行聚类，得到更新类簇的步骤。

4.根据权利要求2所述的方法，其特征在于，所述采用最大最小距离法选取所述逻辑数据块的若干个初始聚类中心的步骤，包括：

在所述逻辑数据块中任取一个数据实例作为第一聚类中心；

在所述逻辑数据块中找出与所述第一聚类中心距离最大的数据实例作为第二聚类中心；

将所述第一聚类中心和所述第二聚类中心添加进聚类中心集中；

计算所述逻辑数据块中除聚类中心集以外的数据实例与所述聚类中心集的最小距离值；

获取所有所述最小距离值中的最大值；

判断所述最大值是否满足预设检验条件；

若否，将所述聚类中心集中的聚类中心作为所述逻辑数据块的初始聚类中心。

5.根据权利要求4所述的方法，其特征在于，还包括：

若所述最大值满足预设检验条件，则将所述最大值对应的数据实例作为第三聚类中心，将所述第三聚类中心添加进所述聚类中心集中，并返回所述计算所述逻辑数据块中除聚类中心集以外的数据实例与所述聚类中心集的最小距离值的步骤。

6.根据权利要求1所述的方法，其特征在于，所述以所述目标聚类中心和所述目标重心为基础，结合所述最优抽样规模生成所述初始大数据集的最优极小样本数据集的步骤，包括：

根据每个目标类簇的最优抽样规模在所述目标类簇中随机抽取样本数据；

采用所述目标聚类中心和所述目标重心分别对应的数据实例，以及所述样本数据生成所述目标类簇的类簇最优极小样本数据集；

采用所述逻辑数据块的所有目标类簇分别对应的类簇最优极小样本数据集，生成所述逻辑数据块的块最优极小样本数据集；

采用所述初始大数据集的所有逻辑数据块分别对应的块最优极小样本数据集，生成所述初始大数据集的最优极小样本数据集。