[发明专利]文本过滤系统及方法有效
申请号: | 201110440801.6 | 申请日: | 2011-12-23 |
公开(公告)号: | CN102521402A | 公开(公告)日: | 2012-06-27 |
发明(设计)人: | 闫俊英 | 申请(专利权)人: | 上海电机学院 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 上海思微知识产权代理事务所(普通合伙) 31237 | 代理人: | 郑玮 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 过滤 系统 方法 | ||
1.一种文本过滤系统,至少包括:
本体库建立模组,用于根据用户的过滤需求建立本体库;
自适应学习模组,通过对一组过滤样本进行训练学习以对该本体库建立模组建立的本体库动态调整,使其逐渐接近于用户的过滤需求;以及
文本过滤模组,通过对待过滤文本进行预处理、抽取特征词集及相似度匹配处理后,获得该待过滤文本与本体的相关度,并根据该相关度对该待过滤文本进行过滤。
2.如权利要求1所述的文本过滤系统,其特征在于,该本体库建立模组至少包括:
领域确定模组,用于根据用户的过滤需求,明确要构建的本体所覆盖的领域和范围以确定本体的领域与范围;
收集分析模组,用于在本体所涉及的领域范围内进行信息的收集和分析,明确重点概念和概念之间的关系,并且用精确的术语表达;以及
本体框架建立模组,用于根据收集分析结果建立本体框架。
3.如权利要求2所述的文本过滤系统,其特征在于:该本体采取三元组Topic(C,P,S)来表示,其中,C表示由过滤领域内的名词概念抽象出来,具有相同属性和行为结构的概念类的集合;P描述概念和关系的属性;S表示类之间的结构关系,如父类、子类等。
4.如权利要求1所述的文本过滤系统,其特征在于:该自适应学习模组采用增量式迭代方法对一组过滤样本进行训练学习以对该本体库建立模组建立的本体库动态调整。
5.如权利要求1所述的文本过滤系统,其特征在于,该文本过滤模组至少包括:
预处理模组,用于对该待过滤文本进行去除停用词操作;
特征词集抽取模组,用于对该待过滤文本抽取出表达文本内容的特征词,根据特征词不同的位置及频率赋予相应的权重,并将相同的特征词权重值相加,形成文本特征词集;
相似度计算模组,根据向量空间模型,计算出该待过滤文本与该本体的相关度;以及
过滤模组,根据该相关度与一设定的阈值,对该待过滤文本进行过滤。
6.如权利要求5所述的文本过滤系统,其特征在于:该过滤模组对该带过滤文本中低于该阈值的文本进行过滤。
7.一种文本过滤方法,至少包括如下步骤:
根据用户的过滤需求建立本体库;
对一组过滤样本进行训练学习以对所建立的本体库动态调整,使其逐渐接近于用户的过滤需求;以及
对待过滤文本进行预处理、抽取特征词集及相似度匹配处理后,获得该待过滤文本与本体的相关度,并根据该相关度对该待过滤文本进行过滤。
8.如权利要求7所述的一种文本过滤方法,其特征在于,该根据用户的过滤需求建立本体库的步骤至少还包括如下步骤:
根据用户的过滤需求,明确要构建的本体所覆盖的领域和范围确定本体的领域与范围;
在本体所涉及的领域范围内进行信息的收集和分析,明确重点概念和概念之间的关系,并且用精确的术语表达;以及
根据收集分析结果建立本体框架。
9.如权利要求7所述的一种文本过滤方法,其特征在于:对该本体库动态调整采用增量式迭代方法实现。
10.如权利要求7所述的一种文本过滤方法,其特征在于,对该待过滤文本进行过滤的步骤至少还包括如下步骤:
对待过滤文本进行去除停用词操作;
抽取出该待过滤文本中表达文本内容的特征词,根据特征词不同的位置及频率赋予相应的权重,并将相同的特征词权重值相加,形成文本特征词集;
根据向量空间模型,计算出该待过滤文本与本体的相关度;以及根据一设定的阈值与该相关度的关系对该待过滤文本进行过滤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海电机学院,未经上海电机学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110440801.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于水处理的防堵型喷淋出药装置
- 下一篇:一种制备复合消毒剂的发生设备