[发明专利]一种基于文本分类技术的信息处理方法

摘要

本发明公开了一种基于文本分类技术的信息处理方法，采用HTML文本标记加权方案对文本进行预处理，在对 HTML 文档进行扫描处理前，首先需要对 HTML 标记进行正确的识别和处理，并根据 HTML 标记对网页不同部分的文本进行加权处理，可以保留标题、页面描述、关键词和超链接等描述信息，从而提高分类效果，建立符号字典过滤非汉字字符，从而降低了初始文本向量的维度，提高了文本向量中的特征信息含量，去除停用词，可以提高后期对文本过滤的准确率和速率，该信息处理方法操作简单、实用性强，能够提高后期信息过滤的准确性和效率。

主权项

一种基于文本分类技术的信息处理方法，其特征在于，包括如下步骤：（1）文本预处理对含有无关文本信息和错误文本信息进行过滤，无关文本信息的处理主要是删除描述网页信息的标签、脚本及非文本对象等，对于错误信息本文主要针对将汉字拆分成偏旁部首的错误信息；（2）分词处理利用中文自动分词系统对经过预处理后的文本进行分词处理，所述中文自动分词系为汉语词法分析系统 ICTCLAS；（3）停用词处理将在所有类别文本中都通用的功能词和针对用户感兴趣的某类别敏感信息提取的两类词去除；（4）加权文本进行预处理后，被表示为词的集合，在该模块中利用加权函数对词集中的词加权，生成特征向量模型；（5）文本特征的提取文本被表示为向量空间模型后，在该模块中引入属性因子的概念，将文本的统计特征和简单的知识特征结合，提取出文本的整体特征。