[发明专利]文本过滤系统及方法有效

专利信息
申请号: 201110440801.6 申请日: 2011-12-23
公开(公告)号: CN102521402A 公开(公告)日: 2012-06-27
发明(设计)人: 闫俊英 申请(专利权)人: 上海电机学院
主分类号: G06F17/30 分类号: G06F17/30;G06F17/27
代理公司: 上海思微知识产权代理事务所(普通合伙) 31237 代理人: 郑玮
地址: 200240 *** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 过滤 系统 方法
【权利要求书】:

1.一种文本过滤系统,至少包括:

本体库建立模组,用于根据用户的过滤需求建立本体库;

自适应学习模组,通过对一组过滤样本进行训练学习以对该本体库建立模组建立的本体库动态调整,使其逐渐接近于用户的过滤需求;以及

文本过滤模组,通过对待过滤文本进行预处理、抽取特征词集及相似度匹配处理后,获得该待过滤文本与本体的相关度,并根据该相关度对该待过滤文本进行过滤。

2.如权利要求1所述的文本过滤系统,其特征在于,该本体库建立模组至少包括:

领域确定模组,用于根据用户的过滤需求,明确要构建的本体所覆盖的领域和范围以确定本体的领域与范围;

收集分析模组,用于在本体所涉及的领域范围内进行信息的收集和分析,明确重点概念和概念之间的关系,并且用精确的术语表达;以及

本体框架建立模组,用于根据收集分析结果建立本体框架。

3.如权利要求2所述的文本过滤系统,其特征在于:该本体采取三元组Topic(C,P,S)来表示,其中,C表示由过滤领域内的名词概念抽象出来,具有相同属性和行为结构的概念类的集合;P描述概念和关系的属性;S表示类之间的结构关系,如父类、子类等。

4.如权利要求1所述的文本过滤系统,其特征在于:该自适应学习模组采用增量式迭代方法对一组过滤样本进行训练学习以对该本体库建立模组建立的本体库动态调整。

5.如权利要求1所述的文本过滤系统,其特征在于,该文本过滤模组至少包括:

预处理模组,用于对该待过滤文本进行去除停用词操作;

特征词集抽取模组,用于对该待过滤文本抽取出表达文本内容的特征词,根据特征词不同的位置及频率赋予相应的权重,并将相同的特征词权重值相加,形成文本特征词集;

相似度计算模组,根据向量空间模型,计算出该待过滤文本与该本体的相关度;以及

过滤模组,根据该相关度与一设定的阈值,对该待过滤文本进行过滤。

6.如权利要求5所述的文本过滤系统,其特征在于:该过滤模组对该带过滤文本中低于该阈值的文本进行过滤。

7.一种文本过滤方法,至少包括如下步骤:

根据用户的过滤需求建立本体库;

对一组过滤样本进行训练学习以对所建立的本体库动态调整,使其逐渐接近于用户的过滤需求;以及

对待过滤文本进行预处理、抽取特征词集及相似度匹配处理后,获得该待过滤文本与本体的相关度,并根据该相关度对该待过滤文本进行过滤。

8.如权利要求7所述的一种文本过滤方法,其特征在于,该根据用户的过滤需求建立本体库的步骤至少还包括如下步骤:

根据用户的过滤需求,明确要构建的本体所覆盖的领域和范围确定本体的领域与范围;

在本体所涉及的领域范围内进行信息的收集和分析,明确重点概念和概念之间的关系,并且用精确的术语表达;以及

根据收集分析结果建立本体框架。

9.如权利要求7所述的一种文本过滤方法,其特征在于:对该本体库动态调整采用增量式迭代方法实现。

10.如权利要求7所述的一种文本过滤方法,其特征在于,对该待过滤文本进行过滤的步骤至少还包括如下步骤:

对待过滤文本进行去除停用词操作;

抽取出该待过滤文本中表达文本内容的特征词,根据特征词不同的位置及频率赋予相应的权重,并将相同的特征词权重值相加,形成文本特征词集;

根据向量空间模型,计算出该待过滤文本与本体的相关度;以及根据一设定的阈值与该相关度的关系对该待过滤文本进行过滤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海电机学院,未经上海电机学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201110440801.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top