[发明专利]一种基于元组不确定性的数据流有效聚类方法

摘要

一种基于元组不确定性的数据流有效聚类方法，包括以下步骤：1)初始化：将内存划分为两个区域：主缓冲区BUF_M和副缓冲区BUF_V，分别存放“正常”元组和“离群”元组的微簇信息，将BUF_M和BUF_V初始化为空；2)寻找归属簇：对于元组存在性不确定的数据流S＝{<v₁，p₁>，L，<v_k，p_k>，L}中每个到达的新元组分别在主缓冲区和副缓冲区中为其寻找接受的簇；3)更新维护微簇信息，包括以下步骤：Step1：衰减操作；Step2：删除过于陈旧的微簇；Step3：簇交换机制；Step4：填充主缓冲区。本发明考虑到元组的存在性的不确定性、提升聚类质量、处理速度很快。

主权项

1.一种基于元组不确定性的数据流有效聚类方法，其特征在于：包括以下步骤：1)初始化将内存划分为两个区域：主缓冲区BUF_M和副缓冲区BUF_V，分别存放“正常”元组和“离群”元组的微簇信息，将BUF_M和BUF_V初始化为空；2)寻找归属簇对于元组存在性不确定的数据流S＝{<v₁，p₁>，L，<v_k，p_k>，L}中每个到达的新元组分别在主缓冲区和副缓冲区中为其寻找接受的簇；2.1)，在主候选区内为新元组寻找归属簇，包括以下步骤：Step1：如果主缓冲区没满，即候选区内微簇的个数小于主缓冲区的规模n_m(|BUF_M|＜n_m)，那么创建仅包含元组的微簇，并加入到BUF_M中；Step2：如果候选区已满，则运用如下规则为其选取归属簇：设C＝{C₁，C₂，L，C_n}为现有簇的集合，簇C_i(1≤i≤n)的元组数为n_i，C_i加入新元组后变成簇C_i′，d_i(1≤i≤n)为与各簇C_i中心的距离，其中d_min＝min{d₁，d₂，L，d_n}，d_min对应的簇为C_min；AP_c代表簇的存在概率，为簇中所有元组概率的代数平均值，根据AP_c的大小做如下定义，将簇分为强簇、弱簇和过渡簇三种簇，预设参数α，0＜α≤1，如果簇满足AP_C≥α，则称簇为强簇；如果簇的存在概率小于某一阈值β的簇，即AP_C＜β，则称簇为弱簇，其中，β满足介于弱簇与强簇之间的簇为弱簇，即满足β≤AP_c＜α；规则1：将待选区域中的簇C＝{C₁，C₂，L，C_n}按d_i大小非递减排列，形成新的簇序列C′＝{C_k1，C_k2，L，C_kn}，其中C_k1即为C_min；对簇集合C′按顺序扫描，选取满足的m个簇C_ki(1≤i≤m)列为候选簇集合C″＝{C_k1，C_k2，L，C_km}；规则2：若规则1不满足，则对簇集合C″按顺序扫描，将满足如下条件并且第一次遇到的簇C_ki列为归属簇：C_ki是过渡簇，C_ki′为强簇；规则3：若规则2不满足，则对簇集合C″按顺序扫描，将满足如下条件并且第一次遇到的簇C_ki列为归属簇：C_ki是强簇，C_ki′仍为强簇；规则4：扫描簇集合C″，计算的值，选取最大者的簇C_ki为归属簇；Step3：判断新元组与候选簇C_ki的距离是否小于C_ki的τ倍，如果小于，则归属簇吸收新的元组更新微簇信息；否则转入步骤2.2)；2.2)，在副缓冲区内为新元组寻找归属簇；2.3)，如果在主缓冲区和副缓冲区内均未找到的归属簇，则将其作为全局离群点删除；3)更新维护微簇信息，包括以下步骤：Step1：衰减操作：设微簇u包含n个元组{(v_i，p_i)}分别在t₁，L，t_n到达，则在t时刻，u的权重为其中λ为衰减速率，其值越大，衰减越快；Step2：删除过于陈旧的微簇：设微簇u的权重比为w(u)/AP_C，当两个区域中存在某个微簇，其权重低于预设参数ρ，则从缓冲区中删除该簇；Step3：簇交换机制：当主缓冲区内最小的微簇权重小于副缓冲区内最大的微簇权重时，即min(w(u)|u∈BUF_M)＜max(w(u)|u∈BUF_V)，则在两个缓冲区间内交换相应微簇，使得在主缓冲区内所有的微簇权重均比副缓冲区内任何一个微簇的权重高；Step4：填充主缓冲区：如果BUF_M未满，且BUF_V非空，则将BUF_V内权重值等于max(w(u)|u∈BUF_V)的微簇移到BUF_M中，直至充满主缓冲区。