[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，应用在数据挖掘中检测离群点的过程中，所述方法包括：

获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；

根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；

利用预设的标准差计算方式对所述成分点进行筛选；

根据筛选结果在所述样例点中获取所述离群点。

2.根据权利要求1所述的方法，其特征在于，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练包括：

初始化所述高斯混合模型的第一参数{(α_i，μ_i，∑_i)|1≤i≤k}；

利用第一公式

对所述样例点进行计算生成所述成分点的后验概率；

其中，P_M为Z_j的后验概率，Z_j的后验概率为所述样例点X_j由第i个所述成分点生成的后验概率。

3.根据权利要求2所述的方法，其特征在于，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练还包括：

利用第二公式计算出所述高斯混合模型的第二参数；

将所述第一参数转化为所述第二参数；

基于所述第二参数，根据所述第一公式计算生成所述成分点的后验概率；

根据所述后验概率并利用所述第二公式重新计算所述第二参数。

4.根据权利要求1所述的方法，其特征在于，所述的根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联包括：

将所述目标数据集中的每个所述样例点关联到相应的所述成分点上；

计算所述成分点的参数据均值和/或方差。

5.根据权利要求4所述的方法，其特征在于，所述的利用预设的标准差计算方式对所述的成分点进行筛选包括：

利用三倍标准差方式对所述参数均值与方差进行差值计算，并生成相应的差值范围；

根据所述差值范围对所述成分点进行筛选，确定落入所述差值范围以外的所述成分点为所述离群点。

6.一种数据处理装置，其特征在于，应用在数据挖掘中检测离群点的过程中，所述装置包括训练模块、关联模块和处理模块，

所述训练模块配置为获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；

所述关联模块配置为根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；

所述处理模块配置为利用预设的标准差计算方式对所述的成分点进行筛选，并根据筛选结果在所述样例点中获取所述离群点。

7.根据权利要求6所述的装置，其特征在于，所述训练模块进一步配置为：

初始化所述高斯混合模型的第一参数{(α_i，μ_i，∑_i)|1≤i≤k}；

利用第一公式

对所述样例点进行计算生成所述成分点的后验概率；

其中，P_M为Z_j的后验概率，Z_j的后验概率为所述样例点X_j由第i个所述成分点生成的后验概率。

8.根据权利要求7所述的装置，其特征在于，所述训练模块进一步配置为：

利用第二公式计算出所述高斯混合模型的第二参数；

将所述第一参数转化为所述第二参数；

基于所述第二参数，根据所述第一公式计算生成所述成分点的后验概率；

根据所述后验概率并利用所述第二公式重新计算所述第二参数。

9.根据权利要求6所述的装置，其特征在于，所述关联模块进一步配置为将所述目标数据集中的每个所述样例点关联到相应的所述成分点上，计算所述成分点的参数据均值和/或方差。

10.根据权利要求9所述的装置，其特征在于，所述处理模块进一步配置为：

利用三倍标准差方式对所述参数均值与方差进行差值计算，并生成相应的差值范围；

根据所述差值范围对所述成分点进行筛选，确定落入所述差值范围以外的所述成分点为所述离群点。