[发明专利]一种文档分类方法及装置有效
申请号: | 201210273212.8 | 申请日: | 2012-08-02 |
公开(公告)号: | CN103577462B | 公开(公告)日: | 2018-10-16 |
发明(设计)人: | 徐兴军 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京鸿德海业知识产权代理事务所(普通合伙) 11412 | 代理人: | 袁媛 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档分类 目标文档 搜索结果 文本相似度 分类结果 搜索条件 特征文本 文本内容 文档 文本 分类信息 置信度 分类 搜索 概率 统计 | ||
本发明公开了一种文档分类方法及装置。一种文档分类方法包括以下步骤:提取目标文档的特征文本,利用所述特征文本构成搜索条件;利用所述搜索条件进行搜索,得到相应的搜索结果;计算所述目标文档与搜索结果的文本相似度;根据计算得到的文本相似度以及搜索结果的分类信息,得到所述目标文档的分类结果。本发明方案基于文本之间的相似性,利用已有的文档分类信息对新文档进行分类,由于文本内容相似的文档属于相同分类的概率很大,因此通过对与当前文本内容相似的文本所属类别进行统计,可以得到置信度较高的分类结果。
技术领域
本发明涉及计算机应用技术领域,特别是涉及一种文档分类方法及装置。
背景技术
随着互联网技术的发展,互联网上的信息量呈爆炸式增长。为了更好地应用这些信息,需要对这些信息数据进行有效的管理。其中,文档分类(document classification)是目前应用较为广泛的一种管理技术。文档分类是指按照根据文档的内容或某种属性,对文档集合中的每一个文档确定一个类别。这样,用户不但能够方便地在特定的类别浏览文档,而且可以通过限制搜索范围来使文档的查找更为容易。
对于海量的文档资源,采用完全人工的分类方法进行分类显然是不现实的。目前,在一些UGC(User Generated Content,用户生成内容)平台上,常用的文档分类方法是让用户直接参与分类,具体方案是,平台侧的管理人员预先建立一套分类体系,当用户上传或浏览文档时,要求用户自行选择当前文档的分类。这种方式的缺点在于:要求用户完全理解分类体系才能提供准确的分类信息,这提高了用户的操作成本,而且在实际应用中,有些用户并不会认真提供分类信息,系统侧又无法辨识这一状况,这样反而对分类系统的准确性造成影响。
目前另一种常用文档分类方法是:基于有监督学习的方案,人工构建语料、训练分类模型,然后利用分类模型对海量的文档进行分类。采用这种方案,提升文档分类系统性能的一个有效途径是收集高质量标注语料作为分类依据。目前,语料的收集工作,主要采用的方式是随机抽取一定数量的样本、然后由人工对样本进行标注,抽取样本的数量将直接影响文档分类性能。然而在实际应用中,出于人力成本的考虑,选取的标注样本规模往往也会受到 限制,从而导致分类特征提取不准确,在一定程度上会影响分类的效果。另一方面,面对信息的快速更新,标注语料也应该相应进行更新以保证分类效果,但是要持续获得标注语料,同样需要消耗大量的人力成本。
发明内容
为解决上述技术问题,本发明实施例提供一种文档分类方法及装置,以解决/以实现,技术方案如下:
一种文档分类方法,其特征在于,包括:
提取目标文档的特征文本,利用所述特征文本构成搜索条件;
利用所述搜索条件进行搜索,得到相应的搜索结果;
计算所述目标文档与搜索结果的文本相似度;
根据计算得到的文本相似度以及搜索结果的分类信息,得到所述目标文档的分类结果。
根据本发明的一种具体实施方式,所述提取目标文档的特征文本,利用所述特征文本构成搜索条件,包括:
提取目标文档的标题作为搜索关键词。
根据本发明的一种具体实施方式,所述计算所述目标文档与搜索结果的文本相似度,包括:
计算所述目标文档标题与搜索结果标题的文本相似度。
根据本发明的一种具体实施方式,所述计算所述目标文档与搜索结果的文本相似度,包括:
计算所述目标文档与排名前N位搜索结果的文本相似度,其中N为预设的正整数。
根据本发明的一种具体实施方式,所述根据计算得到的文本相似度以及搜索结果的分类信息,得到所述目标文档的分类结果,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210273212.8/2.html,转载请声明来源钻瓜专利网。