[发明专利]一种大数据分析系统及方法

摘要

本发明公开了一种大数据分析系统及方法。大数据分析系统包括数据检索模块，数据滤出模块，数据聚类模块，和，信息提取模块。所述数据检索模块，用于数据检索，将数据集中的数据属性和属性值划分开来，构建双层索引结构。所述据检索模块，首先为数据集中数据的属性建立上层索引；其次对上层属性所对应的数据值建立索引，如果是数值型数据就构建B+树索引结构，如果是字符型数据就构建倒排索引。本发明基于改进预测强度的k‑均值聚类方法对实例中大数据的聚类结果是可信且有实际意义的。

主权项

一种大数据分析系统，其特征在于，包括：数据检索模块，数据滤出模块，数据聚类模块，和，信息提取模块；所述数据检索模块，用于数据检索，将数据集中的数据属性和属性值划分开来，构建双层索引结构；所述数据检索模块，首先为数据集中数据的属性建立上层索引；其次对上层属性所对应的数据值建立索引，如果是数值型数据就构建B+树索引结构，如果是字符型数据就构建倒排索引；索引的创建过程具体包括：Step1 首先分析要为其建立索引的数据，如果已构建的索引中没有该数据，则在混合索引的第一层构建一个新的索引结点；Step2 判断新添数据的属性值类型，若是数值型数据，则为其创建B+树索引；若是字符型属性则为其建立倒排索引结构；Step3 重复执行Step1，之前构建的索引中如果存在当前属性，则不再向索引第一层增加新的结点，只把该属性的数据添加到第二层相应的索引中；Step4 重复以上步骤，直到为所有的数据建立索引完成为止。