[发明专利]互联网数据分析系统

权利要求书

1.一种互联网数据分析系统，其特征是，包括：

数据预处理模块，从互联网的网页信息中提取其主要内容，过滤而得到每个网页对应的文本；对获取的文本首先由分词器得到多个分词，再经过特征值降维仅保留突出该文本特征的分词；

数据分析模块，根据分析要求，从分类算法、聚类算法、关联规则算法、特殊规则算法这四类算法中选择相应的一类对多类算法，每类算法中采用一种或多种算法，对所述数据预处理模块输出的每个网页所对应的经过降维后的分词各自独立地进行处理，并存储分析结果。

2.根据权利要求1所述的互联网数据分析系统，其特征是，所述分词器包括ansj分词器、mmseg4j分词器、lucene分词器中的一种或多种。

3.根据权利要求1所述的互联网数据分析系统，其特征是，所述特征值降维采用tf-idf算法、权重计算的一种或多种。

4.根据权利要求1所述的互联网数据分析系统，其特征是，所述分类算法包括svm算法、贝叶斯算法、随机森林算法。

5.根据权利要求1所述的互联网数据分析系统，其特征是，所述聚类算法包括k-means算法。

6.根据权利要求1所述的互联网数据分析系统，其特征是，当所述数据分析模块采用多种算法处理时，当分析结果不一致，则根据各种算法的权重判断分析结果的权重，并采纳权重较大的分析结果。