[发明专利]一种大数据实例约简方法、装置、电子设备及存储介质

说明书

本发明公开了一种大数据实例约简方法、装置、电子设备及存储介质，用于解决传统的大数据约简方法容易造成信息丢失，抽样效率低、样本代表性差的技术问题。本发明包括：对预设的初始大数据集进行逻辑分块，得到逻辑数据块；分别对每个所述逻辑数据块进行聚类，得到多个目标类簇；采用最优样本大小算法确定每个所述目标类簇的最优抽样规模；获取每个目标类簇的目标聚类中心和目标重心；以所述目标聚类中心和所述目标重心为基础，结合所述最优抽样规模生成所述初始大数据集的最优极小样本数据集；将所述最优极小样本数据集作为所述初始大数据集的约简结果。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种大数据实例约简方法、装置、电子设备及存储介质。

背景技术

大数据难题很大程度上源于其数据量的大规模性以及其特征的高维性，与此同时，通常还需要利用它的大规模实例和高维特征来实现相应的需求。大数据的约简和降维预处理方法都是旨在尽可能保证原大数据的特点和分布特性的情况下降低其数据规模，现有的经典随机抽样算法尽管可以直接用于数据实例约简问题，然而其具有一定的局限性。由于大数据集中的数据通常不是均匀分布的，如果用传统的抽样方法进行实例约简很容易造成信息丢失、抽样效率低和样本代表性差等问题。

发明内容

本发明提供了一种大数据实例约简方法、装置、电子设备及存储介质，用于解决传统的大数据约简方法容易造成信息丢失，抽样效率低、样本代表性差的技术问题。

本发明提供了一种大数据实例约简方法，包括：

对预设的初始大数据集进行逻辑分块，得到逻辑数据块；

分别对每个所述逻辑数据块进行聚类，得到多个目标类簇；

采用最优样本大小算法确定每个所述目标类簇的最优抽样规模；

获取每个目标类簇的目标聚类中心和目标重心；

以所述目标聚类中心和所述目标重心为基础，结合所述最优抽样规模生成所述初始大数据集的最优极小样本数据集；

将所述最优极小样本数据集作为所述初始大数据集的约简结果。

可选地，每个所述逻辑数据块均具有多个数据实例；所述分别对每个所述逻辑数据块进行聚类，得到多个目标类簇的步骤，包括：

采用最大最小距离法选取所述逻辑数据块的若干个初始聚类中心；

以每个所述初始聚类中心为基础对所述逻辑数据块进行聚类，得到若干个初始类簇；

计算每个所述初始类簇的初始重心，并根据所述初始重心计算所述逻辑数据块的初始误差平方和；

以所述初始重心对应的数据实例作为新的聚类中心进行聚类，得到更新类簇；

计算每个所述更新类簇的更新重心，并根据所述更新重心计算所述逻辑数据块的更新误差平方和；

判断所述初始误差平方和与所述更新误差平方和的差值的绝对值是否小于预设阈值；

若是，将所述更新类簇作为所述逻辑数据块的目标类簇。

可选地，还包括：

若所述初始误差平方和与所述更新误差平方和的差值的绝对值不小于所述预设阈值，则将所述更新误差平方和作为所述初始误差平方和，将所述更新重心作为所述初始重心，并返回以所述初始重心对应的数据实例作为新的聚类中心进行聚类，得到更新类簇的步骤。

可选地，所述采用最大最小距离法选取所述逻辑数据块的若干个初始聚类中心的步骤，包括：

在所述逻辑数据块中任取一个数据实例作为第一聚类中心；

在所述逻辑数据块中找出与所述第一聚类中心距离最大的数据实例作为第二聚类中心；