[发明专利]一种用于集合数值天气预报成员的层次聚类方法

摘要

本发明公开了一种一种用于集合数值天气预报成员的层次聚类方法，首先根据集合数值天气预报成员的数据特点建立最小距离连通图，然后利用最小距离连通图的最大差分值逐层分割数据成簇并剔除噪点，最后找出代表性的集合预报成员，完成聚类。与Ward聚类法相比，本发明时间复杂度更小，且本发明具有Ward不具备的去噪点功能。与管子法和距平相关系数分簇法相比，本发明具有生成多层次聚类结果的功能，可以在各层级上择优选取最合适的簇数，且不需要设置核心参数。

主权项

1.一种用于集合数值天气预报成员的层次聚类方法，其特征在于，包含以下步骤：步骤1)，根据集合数值天气预报成员的数据特点建立最小距离连通图；所述最小距离连通图无向无环，包含n个顶点的唯一标识和n‑1条连接顶点的边，且n‑1条边为n个顶点按照最临近距离相互连接而成，如图1所示；步骤1.1)，令x_i＝{x_i1,x_i2,…x_im}为第i个顶点的数据，1≤i≤n，n为顶点总数即集合数值天气预报成员的总数，m为集合数值天气预报成员的数据维度，id_i为第i个集合数值天气预报成员的数据的唯一标识，顶点id_i即第i个顶点；并令最临近边矩阵E₁₁初始为空矩阵；随机选取X中第i个顶点即顶点id_i，分别计算顶点id_i到其余各顶点的欧氏距离，生成距离矩阵式中，d_ij为顶点id_i到顶点id_j的欧氏距离，1≤j≤n且j≠i；并令集合EX＝{id_i}；步骤1.2)，从距离矩阵XD中查找距离的最小值d_{i_min}，并将距离矩阵XD中其所在行[id_i,id_j,d_{i_min}]加入到最临近边矩阵E₁₁后从距离矩阵XD删除；步骤1.3)，将顶点id_j加入到集合EX中，计算id_j到集合EX中顶点以外各顶点的距离，生成距离矩阵p为集合EX中顶点以外各顶点的数量，d_jp为顶点id_j到顶点id_p的欧氏距离；步骤1.4)，将距离矩阵XD和距离矩阵XD2进行合并，形成新的距离矩阵XD；步骤1.5)，重复步骤1.2)至步骤1.4)，直到集合EX中的顶点数量等于n；步骤1.6)，根据集合ID₁₁[id₁,…,id_n]和最临近边矩阵E₁₁生成最小距离连通图MDG[ID₁₁,E₁₁]；步骤2)，利用最小距离连通图的最大差分值逐层分割数据成簇并剔除噪点：步骤2.1)，以最小距离连通图MDG[ID₁₁,E₁₁]作为第一层最小距离连通图；步骤2.2)，将最小距离连通图MDG[ID₁₁,E₁₁]分割为若干个第二层最小距离连通图；步骤2.2.1)，计算最临近边矩阵E₁₁中除第一行外每一行第三列和上一行第三列的差值，取其中的最大值dd₁在最临近边矩阵E₁₁中对应行第三列的值以及对应行下一行第三列的值计算平均值，得到均值ddt₁；步骤2.2.2)，根据均值ddt₁分割最小距离连通图MDG[ID₁₁,E₁₁]的最邻近边矩阵E₁₁，形成最小距离连通图集合，并将该最小距离连通图集合作为第二层最小距离连通图集合，其中，根据均值分割最小距离连通图的最邻近边矩阵、形成最小距离连通图集合的具体步骤如下；步骤2.2.2.1)，令均值为T，最小距离连通图的最邻近边矩阵为EE，根据均值T分割最邻近边矩阵EE，得到若干个分割后的最邻近边矩阵；步骤2.2.2.1.1)，将最邻近边矩阵EE中第三列的值大于均值T的所有行删除，新建矩阵EA；步骤2.2.2.1.2)，将矩阵EA置为空矩阵，将最邻近边矩阵EE中的第一行放入矩阵EA中的末尾后从最邻近边矩阵EE中删除；步骤2.2.2.1.3)，对于矩阵EA中的每一行，在最邻近边矩阵EE的第一列、第二列中查找是否存在和其第一列或第二列的值相同的值，如果存在，将该值在最邻近边矩阵EE中的所在行放入矩阵EA中的末尾后从最邻近边矩阵EE中删除；步骤2.2.2.1.4)，重复执行步骤2.2.2.1.3)，直至最邻近边矩阵EE的第一列、第二列和矩阵EA中第一列、第二列不存在相同的值；步骤2.2.2.1.5)，新建空矩阵，将矩阵EA中的值赋予给该空矩阵，得到一个分割后的最邻近边矩阵；步骤2.2.2.1.6)，重复执行步骤2.2.2.1.2)至步骤2.2.2.1.5)直到EE为空矩阵，得到若干个分割后的最邻近边矩阵，形成矩阵集合BB；步骤2.2.2.2)，对于矩阵集合BB中的每个最邻近边矩阵，提取其各条边对应的顶点的唯一标识，得到其对应的顶点集合，生成其对应的最小距离连通图；步骤2.2.2.3)，根据矩阵集合BB中各个最邻近边矩阵对应的最小距离连通图，生成第二层最小距离连通图集合；步骤2.2.3)，标记出第二层最小距离连通图集合中的噪点，其中，标记最小距离连通图集合中的噪点方法如下：对于最小距离连通图集合中各个最小距离连通图对应的顶点集合，依次判断其包含的顶点数量是否小于等于预设的比例阈值乘以n，如果小于等于，则该最小距离连通图为稀疏簇，将该最小距离连通图标记为噪点；步骤2.2.4)，标记出第二层最小距离连通图集合中的自然簇，其中，标记出最小距离连通图集合中的自然簇的方法如下：对于最小距离连通图集合中各个最小距离连通图对应的最邻近边矩阵，分别判断其是否符合正态和指数分布检验，如果符合，则将该最小距离连通图标记为自然簇；步骤2.3)，将第二层最小距离连通图集合作为当前层最小距离连通图集合；步骤2.4)，对当前层最小距离连通图集合进行分割；步骤2.4.1)，对于当前层最小距离连通图集合中的除噪点和自然簇以外的最小距离连通图对应的各个最邻近边矩阵，分别计算其内除第一行外每一行第三列和上一行第三列的差值，获取其中的最大值dd₂；步骤2.4.2)，对于dd₂对应的最邻近边矩阵，取dd₂在该最邻近边矩阵中对应行第三列的值以及对应行下一行第三列的值计算平均值，得到均值ddt₂；步骤2.4.3)，根据均值ddt₂分割dd₂对应的最邻近边矩阵，对其进行分割，形成下一层最小距离连通图集合；步骤2.4.4)，标记出下一层最小距离连通图集合中的噪点和自然簇；步骤2.4.5)，将当前层最小距离连通图集合中除dd₂对应的最小距离连通图之外的最小距离连通图加入至下一层最小距离连通图集合中；步骤2.5)，将下一层最小距离连通图集合作为当前层最小距离连通图集合；步骤2.6)，重复步骤2.4)至步骤2.5)，直至当前层最小距离连通图集合中不存在噪点和自然簇以外的最小距离连通图为止；步骤3)，找出代表性的集合预报成员，完成聚类：步骤3.1)，令当前层的层数为L，对于每一层最小距离连通图，筛选出其中非噪点的最小距离连通图作为该层的待筛选簇集合；步骤3.2)，依次将L层到第一层待筛选簇的数量和预设的个数范围阈值进行比较，直到某一层待筛选簇的数量在预设的个数阈值范围内为止，将该层的待筛选簇集合作为最终待筛选簇集合；步骤3.3)，对于最终待筛选簇集合中的任何一个最小距离连通图，筛选出其内最接近簇心的顶点作为其代表顶点，得到最终待筛选簇集合中各个最小距离连通图的代表顶点；步骤3.4)，将终待筛选簇集合中各个最小距离连通图的代表顶点所对应的集合数值天气预报成员作为代表成员。