[发明专利]一种用于智慧数据碰撞的机器学习方法及装置

权利要求书

1.一种用于智慧数据碰撞的机器学习方法，其特征在于：包括以下步骤：

S1、对数据源每个表格的每个字段进行随机数据降采样后的到降维数据；

S2、对降维数据中的字段进行标记，标记每个字段分别来自哪个表格；

S3、将步骤S2处理后的字段输入K-means模型中，将降维数据中的表格输入K-means模型中；

S4、K-means模型对步骤S3中输入的数据进行迭代训练使聚类结果综合指标最优，类内间距最小，类间间距最大后停止训练，得到最优的K-means模型；

步骤S4中K-means模型的根据以下全部指标使用加权求和的综合评价指标方法进行训练：IV指标、Gini增益指标、熵指标、信息增益指标、pearson系数指标、距离相关系数指标和高斯混合模型指标；

得到最优的K-means模型后，还包括：

S5、将最优的K-means模型结合其他算法进行进一步的无监督集成学习；

S6、通过无监督集成学习获得K-means模型和其他算法的权重，得到优于K-means模型的聚类关联模型；

所述其他算法的包括PCA主成分分析算法、自编码算法中的至少一个。

2.根据权利要求1所述的一种用于智慧数据碰撞的机器学习方法，其特征在于：步骤S1中对数据源每个表格的每个字段进行随机数据降采样前还包括对数据源的数据进行预处理。

3.根据权利要求2所述的一种用于智慧数据碰撞的机器学习方法，其特征在于：所述对数据源的数据进行预处理的方法包括自动化缺失值处理、异常值处理、度量指标归一化处理中的至少一个。

4.根据权利要求1所述的一种用于智慧数据碰撞的机器学习方法，其特征在于：步骤S4中K-means模型中的具体衡量指标包括以下指标中的至少一个：IV指标、Gini增益指标、熵指标、信息增益指标、pearson系数指标、距离相关系数指标和高斯混合模型指标。

5.一种用于智慧数据碰撞的机器学习装置，其特征在于：包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令，实现如权利要求1所述的一种用于智慧数据碰撞的机器学习方法。