[发明专利]一种基于K-means的海量流式数据的聚类方法及系统

说明书

本发明提供了一种基于K‑means的海量流式数据的聚类方法及系统，所述方法包括：获取互联网用户的行为数据，对所述行为数据进行预处理，转化成用于聚类分析的数据；调用Streamin K‑means算法对所述数据进行聚类分析，所述Streamin K‑means算法根据时间间隔将数据流拆分成小批次数据，基于更新规则，对所述小批次数据进行处理，持续更新聚类模型。本发明基于用于处理实时流式数据的计算引擎Spark Streaming，并对传统的基于Spark的K‑means算法进行流式改进，将要处理的数据看作流式数据，对海量实时数据进行聚类分析，不断更新聚类模型，对高速数据流进行实时处理与在线分析，从而能够基于分析结果发现商机与应对风险。

技术领域

本发明涉及海量数据处理技术领域，尤其是一种基于K-means的海量流式数据的聚类方法及系统。

背景技术

用户每天在移动互联网上进行着各种各样的行为活动，如网络社交、购物等。用户的这些行为背后会产生大量数据，对这些数据进行挖掘与深入分析，能够发现其中隐藏的互联网用户行为规律，对我国互联网环境的发展与规划具有重要的指导意义。

Stream算法是一个扩展划分，基于分治思想实现的数据流聚类算法。Stream 算法使用分级聚类技术，进行数据的处理，在实际应用中有较好的性能。然而 Stream算法对高速数据流的变化不敏感，受历史数据影响较大，且无法即时响应数据请求结果。

如今，互联网上每时每刻都在产生着海量数据，对这些海量数据实时分析与处理将能够发现巨大商机或者避免财政损失。然而，当面对数据流的数据远远超出单台服务器的处理能力时，现有数据处理算法将无法使用。

发明内容

本发明提供了一种基于K-means的海量流式数据的聚类方法，用于解决现有算法无法实时处理海量数据的问题。

为实现上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种基于K-means的海量流式数据的聚类方法，所述方法包括以下步骤：

获取互联网用户的行为数据，对所述行为数据进行预处理，转化成用于聚类分析的数据；

对所述数据进行聚类分析，根据时间间隔将数据流拆分成小批次数据，基于更新规则，对所述小批次数据进行处理，持续更新聚类模型。

进一步的，对所述行为数据进行预处理，转化成用于聚类分析的数据的具体过程为：

将行为数据中的干扰数据进行去除；

对用户某行为中包含的关键词数据进行连接，形成行为信息表；

将行为数据中包含的数据信息转化为数值形式。

进一步的，对所述数据进行聚类分析的具体过程为：

初始化聚类中心点；

计算每个新批次数据点与聚类中心点的距离；

根据最小距离，将新到的数据点分配到距离最近的聚类簇；

计算聚类簇的均值，得到新的聚类中心点；

根据更新规则，更新聚类模型中的聚类中心点及聚类簇对应的权重值；

检测权重值最小的聚类簇是否消失，若消失，则拆分权重值最大的聚类中心点为两个新的聚类中心点；

对新到来的数据，重复上述步骤的处理过程，持续更新聚类模型。

进一步的，所述预设的更新规则通过更新公式来实现，所述更新公式为：

W_t+1＝W_ta+m_t