[发明专利]基于web的文本分类挖掘系统及方法

权利要求书

1.一种基于web的文本分类挖掘系统，其特征在于，该系统主要包括文本预处理模块、分词处理模块和分类算法模块；其中，

文本预处理模块，用于从待测试文本中自动筛选和预处理特定的信息，过滤掉无关的信息，以有效地表示文本；

分词处理模块，用于将所述文本进行分词，找到每个文本具有的属性/属性词，为特征词的选择做准备；

分类算法模块，用于进行特征选择，得到最优的特征子集，或按照训练结果的文件提供的数据，找到相应的概率，比较得到最大概率所属的类别，得出结论，最后将结果存储在文件中。

2.根据权利要求1所述的基于web的文本分类挖掘系统，其特征在于，所述待测试文本，包括含有多媒体信息和非结构化信息的网页。

3.一种基于web的文本分类挖掘方法，其特征在于，该方法包括：

A、文本集训练的步骤：包括：扫描待训练的文本；对文本进行分词，为特征选择做准备；进行特征选择，得到最优的特征子集；利用有效的权值进行计算，再次优化特征子集；最后利用一定的条件进行计算，将结果存储在文件中；

B、文本特征库分类的步骤：包括：扫描训练文本；对文本进行分词，找到每个文本具有的属性/词；按照训练结果的文件提供的数据，找到相应的概率；比较得到最大的概率所属的类别，得出结论。

4.根据权利要求3所述的基于web的文本分类挖掘方法，其特征在于，所述利用一定的条件进行计算，该条件具体为通过类别的先验概率和词的分布来计算未知文本属于某一类别的概率：

P(Cj|X)=P(Cj)P(X|Cj)P(X);]]>

其中，P(C_j|X)为样本X属于类C_j的概率，P(X|C_j)为类C_j中含有样本X的概率；在所有P(C_j|X)(j＝1，2，...，m)中，若P(C_K|X)值最大，则文本X归为C_K类，P(X)是常数。

5.根据权利要求4所述的基于web的文本分类挖掘方法，其特征在于，假设文本中词/属性的分布是条件独立的，则P(C_j|X)＝P(C_j)P(X|C_j)；

其中，