[发明专利]一种基于K-means的海量流式数据的聚类方法及系统

权利要求书

1.一种基于K-means的海量流式数据的聚类方法，其特征是，所述方法包括以下步骤：

获取互联网用户的行为数据，对所述行为数据进行预处理，转化成用于聚类分析的数据；

对所述数据进行聚类分析，根据时间间隔将数据流拆分成小批次数据，基于预设的更新规则，对所述小批次数据进行处理，持续更新聚类模型。

2.根据权利要求1所述基于K-means的海量流式数据的聚类方法，其特征是，对所述行为数据进行预处理，转化成用于聚类分析的数据的具体过程为：

将行为数据中的干扰数据进行去除；

对用户某行为中包含的关键词数据进行连接，形成行为信息表；

将行为数据中包含的数据信息转化为数值形式。

3.根据权利要求1所述基于K-means的海量流式数据的聚类方法，其特征是，对所述数据进行聚类分析的具体过程为：

初始化聚类中心点；

计算每个新批次数据点与聚类中心点的距离；

根据最小距离，将新到的数据点分配到距离最近的聚类簇；

计算聚类簇的均值，得到新的聚类中心点；

根据更新规则，更新聚类模型中的聚类中心点及聚类簇对应的权重值；

检测权重值最小的聚类簇是否消失，若消失，则拆分权重值最大的聚类中心点为两个新的聚类中心点；

对新到来的数据，重复上述步骤的处理过程，持续更新聚类模型。

4.根据权利要求3所述基于K-means的海量流式数据的聚类方法，其特征是，所述预设的更新规则通过更新公式来实现，所述更新公式为：

W_t+1＝W_ta+m_t

n_t+1＝n_t+m_t

式中，c_t表示前一个聚类中心点，c_t+1表示更新后的聚类中心点，x_t表示根据新到数据计算出的聚类中心点，n_t表示更新之前聚类簇中数据点的个数，m_t表示新到来的数据点的个数，n_t+1表示更新之后聚类簇中数据点的个数，w_t表示更新之前聚类簇的权重值，w_t+1表示更新之后聚类簇的权重值，a为衰减因子。

5.根据权利要求3所述基于K-means的海量流式数据的聚类方法，其特征是，所述检测权重值最小的聚类簇是否消失的具体过程为：

判断更新后聚类簇的权重值是否满足下式，若满足，则认为当前聚类簇消失，

式中，∈为阈值参数。

6.根据权利要求3所述基于K-means的海量流式数据的聚类方法，其特征是，拆分后两个聚类簇的权重值是拆分前聚类模型中最小权重值与最大权重值的均值。

7.根据权利要求1-6任一项所述基于K-means的海量流式数据的聚类方法，其特征是，所述方法还包括：

根据所述聚类模型，对用户行为进行分析评价。

8.一种基于K-means的海量流式数据的聚类系统，其特征是，所述系统包括：

数据预处理模块，用于获取互联网用户的行为数据，对所述行为数据进行预处理，转化成用于聚类分析的数据；

聚类分析模块，对所述数据进行聚类分析，根据时间间隔将数据流拆分成小批次数据，基于更新规则，对所述小批次数据进行处理，持续更新聚类模型。

9.根据权利要求8所述基于K-means的海量流式数据的聚类系统，其特征是，所述数据预处理模块包括：

数据清洗单元，用于将行为数据中的干扰数据进行去除；

数据连接单元，用于对用户某行为中包含的关键词数据进行连接，形成行为信息表；

数据整理单元，用于将行为数据中包含的数据信息转化为数值形式。