[发明专利]文本过滤系统及方法

权利要求书

1.一种文本过滤系统，至少包括：

过滤模型建立模组，用于根据用户的过滤需求建立过滤模型；

自适应学习模组，通过对一组过滤样本进行训练，形成接近用户的过滤需求的本体库；以及

文本过滤模组，抽取待过滤文本的特征词，然后识别特征词中的实体，并进行实体关系的抽取，形成待过滤文本的实体关系对向量，计算过滤模型与待过滤文本的相似度，对高于相似度阈值的文本进行过滤。

2.如权利要求1所述的一种文本过滤系统，其特征在于：该过滤模型建立模组首先根据用户的过滤需求，明确要构建的本体所覆盖的领域和范围确定本体的领域与范围，然后在本体所涉及的领域范围内进行信息的收集和分析，明确重点概念和概念之间的关系，并且用精确的术语表达出来，最后建立本体框架。

3.如权利要求2所述的一种文本过滤系统，其特征在于：该本体采取三元组Topic(C，P，S)来表示，其中C表示由过滤领域内的名词概念抽象出来，具有相同属性和行为结构的概念类的集合，采用向量空间模型来表示；P描述概念和关系的属性；S表示类之间的结构关系。

4.如权利要求1所述的一种文本过滤系统，其特征在于：该自适应学习模组用增量式迭代方法对该组过滤样本进行训练。

5.如权利要求1所述的一种文本过滤系统，其特征在于，该文本过滤模组还包括：

预处理模组，对待过滤文本进行去除停用词等预处理操作；

特征词抽取模组，将经过预处理的待过滤文本抽取出表达文本内容的特征向量；

实体关系抽取模组，首先根据所抽取的页面的特征向量，识别实体，并基于启发式规则，获取实体的上下文特征，然后构建上下文特征词的特征向量，采用应用特征频度函数对特征项进行数值化，采用k-means的联合聚类算法，来实现实体对的聚类，最后对实体对的关系进行标注；以及

相似度计算模组，计算待过滤文本与过滤模型的相似度，对高于相似度阈值的文本进行过滤。

6.如权利要求5所述的一种文本过滤系统，其特征在于：该相似度计算模组根据向量空间模型，将两特征向量夹角的余弦值表示它们的相似度，计算出待过滤文本与过滤模型的相似度，根据设定的阈值，将超过阈值的文本过滤掉。

7.一种文本过滤方法，包括如下步骤：

步骤一，根据用户的过滤需求建立过滤模型；

步骤二，通过对一组过滤样本进行训练，形成接近用户的过滤需求的本体库；以及

步骤三，抽取待过滤文本的特征词，然后识别特征词中的实体，并进行实体关系的抽取，形成待过滤文本的实体关系对向量，计算过滤模型与待过滤文本的相似度，对高于相似度阈值的文本进行过滤。

8.如权利要求7所述的一种文本过滤方法，其特征在于，步骤三包括如下步骤：

对待过滤文本进行去除停用词等预处理操作；

将经过预处理的待过滤文本抽取出表达文本内容的特征向量；

进行实体关系的抽取，形成待过滤文本的实体关系对向量；以及

计算待过滤文本与过滤模型的相似度，对高于相似度阈值的文本进行过滤。

9.如权利要求8所述的一种文本过滤方法，其特征在于，该实体关系的抽取步骤还包括如下步骤：

首先根据所抽取的页面的特征向量，识别实体；

基于启发式规则，获取实体的上下文特征；

构建上下文特征词的特征向量，采用应用特征频度函数对特征项进行数值化；

采用k-means的联合聚类算法，来实现实体对的聚类；以及

对实体对的关系进行标注。这样待过滤文本就采用标注过关系的实体对及关系的向量来表示。

10.如权利要求7所述的一种文本过滤方法，其特征在于，步骤一还包括如下步骤：

根据用户的过滤需求，明确要构建的本体所覆盖的领域和范围确定本体的领域与范围；

在本体所涉及的领域范围内进行信息的收集和分析，明确重点概念和概念之间的关系，并且用精确的术语表达出来；以及

建立本体框架。