[发明专利]一种基于文本内容的网页信息过滤方法

摘要

本发明公开了一种基于文本内容的网页信息过滤方法，采用X²统计和改进的DBSCAN聚类算法，对文档特征进行2次选择，提高了各特征之间的相对独立性，提出采用构建词索引矩阵和词共现矩阵的方法。最后提出了基于特征簇的向量空间模型，在有效提高特征独立性的同时，减低了特征维数，为下一步分类器计算提供了方便。对于最终各特征簇的权值计算，采TF‑IDF算法，分3步走，把文档表示成特征簇向量空间模型。

主权项

一种基于文本内容的网页信息过滤方法，其特征在于，包括如下步骤：(1)文本预处理首先把网页中的文字信息提取出来，接着进行去除噪音、词干还原和标签加权处理，生成带有标记的词序流；(2)特征选择采用基于密度聚类算(DBSCAN)法对预处理文本的特征进行选取，接着构建文本特征，把一些经常同时出现的词进行统计，通过聚类生成簇；(3)特征加权采用基于特征簇的TF‑IDF算法求聚类生成簇的权值；(4)分类器运算利用统计学和数学的方法，首先对分类器进行训练，计算各向量的距离，找到分类的映射法则，然后对待测文本进行分类过滤，最终把网页信息区分为规定的两类，得到结果；(5)自学习更新引入自学习更新模块，把词库中没有的词记录下来，对结果进行更新检查，得到输出结果；(6)性能评估对输出结果计算其各性能指标，通过结果对设定参数进行微调，反复实验不同待测样本的过滤效果，找到相对合适的参数设定。