[发明专利]一种机器学习中避免大数据冗余的方法

权利要求书

1.一种机器学习中避免大数据冗余的方法，其特征在于，包括以下步骤：

S1、将训练数据按照预设规则均匀划分为规模相当的若干份；

S2、对每一份数据按照预设的训练步骤进行训练计算，并绘制出跟随训练步骤的属性值曲线；

S3、根据每份属性值曲线的相似度，保留相应的属性值曲线对应的数据和初步训练结果；

S4、根据属性值曲线的相似度对保留的数据和初步训练结果进行排序，将相邻的相似度达到阈值的属性值曲线对应的数据和初步训练结果分别进行加权，返回步骤S2，直至所有训练数据合并为一个数据，并得到最终的训练结果。

2.如权利要求1所述的机器学习中避免大数据冗余的方法，其特征在于，当所述训练数据采用空间数据时，所述预设规则为：按照空间坐标信息将所述空间数据均匀划分为规模相当的若干份。

3.如权利要求1所述的机器学习中避免大数据冗余的方法，其特征在于，所述属性值曲线为精度曲线或误差曲线。

4.如权利要求1所述的机器学习中避免大数据冗余的方法，其特征在于，步骤S3具体为：

比较每份属性值曲线的相似度，判断相似度是否达到阈值；

若相似度达到阈值，则随机保留其中一份属性值曲线对应的数据和初步训练结果；若相似度未达到阈值，则保留所有属性值曲线对应的数据和初步训练结果。

5.如权利要求4所述的机器学习中避免大数据冗余的方法，其特征在于，所述相似度的阈值上限为95％，所述相似度的阈值下限为99％。