[发明专利]一种面向大数据中稀有类数据的快速查询技术

摘要

本发明公开了一种面向大数据中稀有类数据的快速查询技术；首先设置一个较小的k近邻值，逐步搜索k近邻，从而筛选出符合要求的k近邻点，从而找到一个小范围的稀有类；然后根据这个小范围内的稀有类数据计算出新的k值和距离阈值，再根据这个新的k值和距离阈值通过逐步搜索k近邻的方法来继续寻找稀有类，当找到的k近邻数据全为已知点时，停止算法的寻找过程，将包含D中所有已知点的集合R作为找到的稀有类；本发明能够在已知较少稀有类数据样本的情况下，充分利用已知的信息来找到所有的稀有类数据，不仅避免了分类方法所需的大量稀有类数据来训练，而且避免了聚类方法没有使用已知信息的缺陷，从而能够高效准确地找到所有的稀有类数据。

主权项

一种面向大数据中稀有类数据的快速查询技术，其特征在于，包括以下步骤：步骤1：对于给定的数据集为D，首先将D中的每个点标记为未知点，使用集合N记录用来寻找稀有类的数据集合，初始时N中仅包含一个已知的稀有类数据点n0，即N＝{n0}，设置k为较小的值k0，设置距离阈值τd为一个正数，该正数大于数据集D中任意两点之间的最大欧式距离；步骤2：对于N中的每个点ni，在D中找到与ni最近的k个点，记为Knn(ni)，将N中所有点的k近邻组成集合Knn(N)，然后在D中找到Knn(N)中每个点的k近邻，将Knn(N)中所有点的k近邻组成集合Knn(Knn(N))，将N中的点标为已知点，并对N中每个点ni对应的Knn(ni)中的点进行筛选，直至筛选的次数达到设定的阈值τi；步骤3：根据筛选后的Knn(N)结果进行选择：选择步骤一：若筛选后的Knn(N)中的点包含未知点，则更新N中每个点的坐标，并记录下该点已更新的次数，若更新次数超过给定阈值τt，则该点的坐标不再更新，初始化一个空集合N’，将更新后得到的新坐标点加入集合N’，并更新N＝Knn(N)∪N'，然后返回步骤2；N中点的坐标更新规则为：(ni)new=(ni)old+Σj=1kRj(n)*Knnj(ni)1+Σj=1kRj(n),Rj(n)=1-d(nij,ni)Σj=1kd(nij,ni)]]>其中，(ni)old表示点ni的原始坐标；(ni)new表示更新后的坐标；nij表示点ni的k近邻Knn(ni)中的第j个点；Knnj(ni)表示点nij的坐标；d(nij,ni)表示点ni和点nij之间的欧式距离；选择步骤二：若筛选后的Knn(N)中的点均为已知点并且k等于k0，将D中所有已知点加入集合R；将k的值逐步增加，每次增加1，直至R在新的k值下找到的k近邻集合Knn(R)中包含有未知点，并记录此时的k值，记为knew，更新k＝knew；然后对于R中的每个点nr，在D中找到nr的k近邻Knn(nr)，计算nr和Knn(nr)中每个点的距离，并计算这些距离的均值，记录最大的均值，记为根据给定扩大系数m，更新阈值τd的值为的m倍，即然后从R的k近邻集合Knn(R)中挑选一个未知点nno，更新N＝{nno}，返回步骤2；选择步骤三：若筛选后的Knn(N)中的点均为已知点并且k不等于k0，则算法停止，然后将R集合中的数据作为最后找到的稀有类结果返回。