[发明专利]一种信息归类方法和系统

说明书

技术领域

本发明设计属于热点信息的数据挖掘领域，尤其涉及一种信息归类方法和系统。

背景技术

互联网的迅猛发展，带了信息量的爆炸式增长。面对海量的信息，如何从中提取有效的信息最为重要。例如对微博热点信息的梳理，可以很容易获取不同区域的热点问题。根据此热点可以很容易对特定受众进行信息投递。也可以根据犯罪信息等，规划出犯罪高发点，形成重点经历支持，亦可以根据人们购物行为，提供商业决策证据。

发明内容

为了解决上述问题，本发明提出了一种信息归类方法和系统，能够针对海量信息的聚类分析，获取信息流行趋势，规划出按区域划分的热点信息，为商业等行为提供有力的数据证据。

为了达到上述目的，本发明提出了一种信息归类方法，该方法包括：

将待处理数据收集并存储到分布式文件系统HDFS文件系统中。

利用硬聚类K-means算法对存储到HDFS文件系统中的数据进行聚类，并获得一个或者多个聚类数据群；将获得的每一个聚类数据群分别作为一类热点信息。

优选地，利用K-means算法对存储到HDFS文件系统中的数据进行聚类包括：

21、从存储到HDFS文件系统中的全部数据中任意选择k个数据，并将k个数据的当前位置作为初始聚类中心；其中，k为正整数，是预先给定的聚类数。

22、计算全部数据中的每一个未被选择的数据与k个初始聚类中心的距离。

23、获得每一个未被选择的数据与全部k个初始聚类中心计算出的全部距离中的最小距离。

24、将未被选择的数据分配给与该最小距离相对应的初始聚类中心。

25、根据每一个初始聚类中心所分配到的全部未被选择的数据的分布情况，拟合出每一个初始聚类中心所分配到的全部未被选择的数据的均值中心位置，并将均值中心位置作为聚类中心。

26、判断初始聚类中心与聚类中心的位置是否相同，如果初始聚类中心与聚类中心的位置不相同，则进入步骤27；如果初始聚类中心与聚类中心的位置相同，则聚类结束；

27、将k个初始聚类中心处的数据分别迁移到与每个初始聚类中心相对应的聚类中心；并返回步骤22。

优选地，聚类数据群是指：聚类中心处的数据与被分配给聚类中心的未被选择的数据共同组成的数据群。

优选地，该方法还包括：采用Fortune算法对获得的每一类热点信息分别生成一个泰森多边形Voronoi图。

优选地，采用Fortune算法对获得的每一个聚类中心分别生成一个Voronoi图包括：

将一个聚类数据群中的每一个数据分别作为一个定点。

采用预设的扫描线从预设起点开始移动，对整个聚类数据群进行扫描；获得多个以定点为焦点，以扫描线为准线的抛物线。

当扫描线对聚类数据群扫描结束时，获得的多个抛物线中每相邻的两个抛物线之间的交点以及该交点之间的连线形成的多个多边形域构成Voronoi图；其中，每个多边形域包含一个定点。

为了达到上述目的，本发明还提出了一种信息归类系统，该系统包括：收集模块和聚类模块。

收集模块，用于将待处理数据收集并存储到分布式文件系统HDFS文件系统中。

聚类模块，用于利用硬聚类K-means算法对存储到HDFS文件系统中的数据进行聚类，并获得一个或者多个聚类数据群；将获得的每一个聚类数据群分别确定为一类热点信息。

优选地，聚类模块利用K-means算法对存储到HDFS文件系统中的数据进行聚类是指：

71、从存储到HDFS文件系统中的全部数据中任意选择k个数据，并将k个数据的当前位置作为初始聚类中心；其中，k为正整数，是预先给定的聚类数。

72、计算全部数据中的每一个未被选择的数据与k个初始聚类中心的距离。73、获得每一个未被选择的数据与全部k个初始聚类中心计算出的全部距离中的最小距离。

74、将未被选择的数据分配给与该最小距离相对应的初始聚类中心。

75、根据每一个初始聚类中心所分配到的全部未被选择的数据的分布情况，拟合出每一个初始聚类中心所分配到的全部未被选择的数据的均值中心位置，并将均值中心位置作为聚类中心。

76、判断初始聚类中心与聚类中心的位置是否相同，如果初始聚类中心与聚类中心的位置不相同，则进入步骤77；如果初始聚类中心与聚类中心的位置相同，则聚类结束。

77、将k个初始聚类中心处的数据分别迁移到与每个初始聚类中心相对应的聚类中心；并返回步骤72。