[发明专利]一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法

权利要求书

1.一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法，包括步骤如下：

(1)脉冲星候选体信号的聚类分析：

采用K近邻的多项式核函数计算数据点密度，筛出密度值小于阈值0.01的样本，这些样本将进一步通过候选体诊断图判断是噪声还是新天文现象，排除密度过小的离群点干扰；

结合密度峰值及层次的聚类过程特点，用于数据集中多密度簇类层次的划分，合并同一区域内部分密度相近、距离邻近的微簇群，确定初始聚类中心点；

运用基于高斯径向基核距离的k-means迭代对所有数据点的进行分配与簇中心优化，采用核函数计算样本数据点之间相似度计算可实现测度距离对高维空间的转换；

(2)基于滑动窗口的分组策略对数据集进行分组，按照特定的窗口值Batchsize＝1160进行划分，设置滑动窗口尺寸为w＝2；拟通过从真实样本中挑选较完备的各类脉冲星候选体特征数据1600颗作为一组样本，并分别加入到每轮滑动窗口所对应的待检测数据形成1个数据块，将数据集分为多个大小相同的并行数据块；

(3)用基于MapReduce/Spark计算模型的数据块并行化实现该聚类。

2.如权利要求1所述一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法，其中步骤(1)中所述的聚类分析方法为：

①进行数据预处理，通过特征提取方法和主成分分析方法(PCA)对在基于PRESTO软件的脉冲星搜索流程中的脉冲星候选体数据进行特征选择和降维，从而得到特征向量为b的新特征空间输入数据集；可选的候选体物理特征值包括有脉冲辐射(单峰、双峰和多峰)、周期、色散值、信噪比、噪声信号、信号斜波、非相干功率之和、相干功率；

②根据式(1)计算数据点i和j之间的马氏距离为

其中，S是多维随机变量的协方差矩阵；再根据式(2)计算各数据点基于K近邻的局部Polynomial核密度，Polynomial核函数拥有的全局特性，使其泛化性能强；

其中，c为偏置系数，d为多项式的阶；为消除数据变异大小和数值大小的影响，对d_ij和ρ_i均采用离差标准化处理如下；

其中，min_d和min_ρ分别代表d_ij和ρ_i的最小值，max_d和max_ρ分别代表d_ij和ρ_i的最大值；

③根据式(5)剔除离群点，再由式(6)计算非离群点之间的距离δ_i，剔除离群点有助于簇类中心点的选择；另外，密度过小的数据点数量少且分布边缘化；由于其稀缺性及低密度化，在数据分布中呈异常，而异常现象可能是纯噪声或天文新现象(比如特殊脉冲星)；这部分数据后续将通过对应的候选体诊断图作进一步的确定；

inlier＝{ρ_i＞ρ_threhold}，ρ_threhold＝0.01 (5)

④所有距离δ大于阈值λ的数据点可生成1个二维决策图；其中，横轴用密度ρ表示，纵轴用距离δ表示；在二维决策图上进行密度层次微簇群的合并，方法为：若在ρ轴或δ轴划分区域上包含两个或两个以上的无数据点存在区域，则称该空隙区域为空区；空区把所有的数据点划分为两个密度区域，将最右的密度区域称作最大密度区域，其余为低密度区域；

(A)在低密度区域，由于区分度不高，将该区域相应的微簇均合并成一个簇类；

(B)在最大密度区域，若所有的代表点都在同一个δ区，则将这些代表点均选作独立的簇类中心；若不在同一个δ区，则这些代表点间距离区分度不高，可能属于同一个簇类，因此需要将相应的微簇合并成一个大簇；

⑤确定簇类数k以及对应集群C_i(1≤i≤k)的中心center_i；

⑥根据就近原则将各个数据点x_j分配给距离最近的center_i所在的簇类，相似性测度方式采用RBF核距离，如式(7)所示；RBF核函数拥有局部特性且学习能力强，通过RBF核距离可实现测度距离对高维空间的转换；

其中,η代表核函数宽度；按照式(8)计算新簇C_i'内所有数据点的均值作为新的中心center_i'，n_i表示属于C_i'的数据点总数；

⑦计算数据集所有对象的误差平方和SSE：

直到SSE值不再发生变化，算法停止，否则回到步骤⑥。