[发明专利]一种机器学习冗余数据删除方法及系统

权利要求书

1.一种机器学习冗余数据删除方法，其特征在于，所述方法包括：

获取机器学习模型对应的被训练数据；

对所述被训练数据采用设定的降维方式进行压缩处理，得到粗粒度压缩点；

在训练过程中，基于每个粗粒度压缩点获得所述粗粒度压缩点对应的多个细粒度压缩点；

基于所述细粒度压缩点对机器学习模型相应参数的影响值删除所述细粒度压缩点对应的备选的被训练数据。

2.如权利要求1所述的迭代机器学习冗余数据删除方法，其特征在于，所述对所述被训练数据采用设定的降维方式进行压缩处理，得到粗粒度压缩点，包括：

基于增量奇异值分解法对所述机器学习模型对应的被训练数据进行降维；

基于所述降维数据和数据维度划分为多个子集；

基于所述划分的子集对应的所述被训练数据计算每个子集的平均值；

基于所述平均值进行压缩，转换成对应的粗粒度压缩点。

3.如权利要求1所述的迭代机器学习冗余数据删除方法，其特征在于，所述基于所述细粒度压缩点对机器学习模型相应参数的影响值删除所述细粒度压缩点对应的备选的被训练数据，之前还包括：

获取所述粗粒度压缩点对机器学习模型相应参数的影响值以及机器学习模型相应参数的有效点上界和有效点下界；

基于所述粗粒度压缩点参数的影响值和所述有效点上界进行比较；

保存所述粗粒度压缩点参数的影响值大于所述有效点上界的粗粒度压缩点对应的备选的被训练数据，删除所述粗粒度压缩点参数的影响值小于所述有效点下界的粗粒度压缩点对应的备选的被训练数据。

4.如权利要求3所述的迭代机器学习冗余数据删除方法，其特征在于，所述基于所述细粒度压缩点对机器学习模型相应参数的影响值删除所述细粒度压缩点对应的备选的被训练数据，包括：

当所述粗粒度压缩点参数的影响值小于或等于所述有效点上界，大于所述有效点下界时：

基于所述粗粒度压缩点对应的多个细粒度压缩点参数的影响值与所述有效点上界进行比较；

删除所述细粒度压缩点参数的影响值小于或等于所述有效点上界的细粒度压缩点对应的备选的被训练数据。

5.如权利要求1或3所述的迭代机器学习冗余数据删除方法，其特征在于，所述粗粒度压缩点或细粒度压缩点参数的影响值，计算式如下：

式中，e为粗粒度压缩点或细粒度压缩点的影响值；为机器学习被训练数据的特征向量值；y为机器学习被训练数据的特征向量值对应的标签值；g为机器学习被训练数据的梯度；Θ所有机器学习被训练数据集合；θ为机器学习被训练数据集合当前计算的参数。

6.一种迭代机器学习冗余数据删除系统，其特征在于，所述系统包括：

获取模块：用于获取机器学习模型对应的被训练数据；

第一压缩模块：用于对所述被训练数据采用设定的降维方式进行压缩处理，得到粗粒度压缩点；

第二压缩模块：用于在训练过程中，基于每个粗粒度压缩点获得所述粗粒度压缩点对应的多个细粒度压缩点；

删除模块：用于基于所述细粒度压缩点对机器学习模型相应参数的影响值删除所述细粒度压缩点对应的备选的被训练数据。

7.如权利要求6所述的迭代机器学习冗余数据删除系统，其特征在于，所述第一压缩模块，包括：降维单元、划分单元、计算单元和压缩单元；

述降维单元，用于基于增量奇异值分解法对所述机器学习模型对应的被训练数据进行降维；

所述划分单元，用于基于所述降维数据和数据维度划分为多个子集；

所述计算单元，用于基于所述划分的子集对应的所述被训练数据计算每个子集的平均值；

所述压缩单元，用于基于所述平均值进行压缩，转换成对应的粗粒度压缩点。