[发明专利]一种数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置，该方法应用在数据挖掘中检测离群点的过程中，所述方法包括：获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；利用预设的标准差计算方式对所述成分点进行筛选；根据筛选结果在所述样例点中获取所述离群点。该方法结合EM算法和高斯混合模型的特有规则，并能够利用高斯混合模型快速收敛的优点，快速而准确的检测出离群点。

技术领域

本发明涉及数据处理领域，特别涉及一种数据处理方法及装置。

背景技术

离群点检测是数据处理特别是数据挖掘技术中重要的研究问题，用于发现数据集中明显偏离其他数据、不服从数据的一般行为或模式的数据，离群点的出现有可能是由于数据噪声，或于数据源出现了特殊了异常行为和状态而造成的。对检测到的离群点做出进一步的逆向原因分析可能就会发现离群点背后所蕴含的十分有用的数据，群点检测可以广泛地应用于电子商务交易犯罪和信用卡欺诈侦查、生态系统失调发现、网络入侵检测、工业损害检测、公共卫生、医疗诊断和天文探索发现等诸多领域。但是目前离群点检测方法大都只能用于单变量的数值型离群点检测，而不适用于高维空间多变量数据的情形，还有些方法必须要计算每个样本点之间的距离，使得检测性能较差，效率低。

发明内容

鉴于现有技术中存在的上述问题，本发明实施例的目的在于提供一种数据处理方法及装置，该方法能够利用高斯混合模型快速收敛的优点，快速而准确的检测出离群点。

为了解决上述技术问题，本发明采用了如下技术方案：一种数据处理方法，应用在数据挖掘中检测离群点的过程中，所述方法包括：

获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；

根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；

利用预设的标准差计算方式对所述成分点进行筛选；

根据筛选结果在所述样例点中获取所述离群点。

作为优选，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练包括：

初始化所述高斯混合模型的第一参数{(α_i，μ_i，∑_i)|1≤i≤k}；

利用第一公式

对所述样例点进行计算生成所述成分点的后验概率；

其中，P_M为Z_j的后验概率，Z_j的后验概率为所述样例点X_j由第 i个所述成分点生成的后验概率。

作为优选，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练还包括：

利用第二公式计算出所述高斯混合模型的第二参数；

将所述第一参数转化为所述第二参数；

基于所述第二参数，根据所述第一公式计算生成所述成分点的后验概率；

根据所述后验概率并利用所述第二公式重新计算所述第二参数。

作为优选，所述的根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联包括：

将所述目标数据集中的每个所述样例点关联到相应的所述成分点上；

计算所述成分点的参数据均值和/或方差。

作为优选，所述的利用预设的标准差计算方式对所述的成分点进行筛选包括：