[发明专利]一种文本检索纠错方法和装置在审
申请号: | 201911365262.7 | 申请日: | 2019-12-26 |
公开(公告)号: | CN111783433A | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 刘颖 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06F40/284;G06F16/33;G06F16/383;G06K9/62 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张效荣;王志远 |
地址: | 100176 北京市北京经济技术*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 检索 纠错 方法 装置 | ||
本发明公开了一种文本检索纠错方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:提取目标文本的特征词条;对特征词条进行转换处理得到特征词条对应的特征向量;根据特征词条对应的特征向量从资源索引库中检索备选词条,其中,资源索引库中包括全部词条的特征向量;根据特征词条与备选词条的编辑距离确定目标词条,以实现文本的纠错。该实施方式提高了文本检索纠错效率和纠错效果。
技术领域
本发明涉及计算机技术领域,尤其涉及一种文本检索纠错方法和装置。
背景技术
信息检索(Information Retrieval,IR),就是将信息按一定的方式组织起来,并根据用户的需要找出相关信息的过程和技术。但是用户输入的文本信息或者经过ASR(Automatic Speech Recognition,自动语音识别)转化后的文本信息可能存在错误的情况,这就需要后端具备文本纠错的能力,在进行信息检索之前完成文本信息的纠错。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
现有方法主要是针对单个字进行检索,纠错速度慢,且纠错效果较差。
发明内容
有鉴于此,本发明实施例提供一种文本检索纠错方法和装置,能够基于词条进行检索,提高了文本检索纠错效率和纠错效果。
为实现上述目的,根据本发明实施例的第一方面,提供了一种文本检索纠错方法,包括:
提取目标文本的特征词条;
对特征词条进行转换处理得到特征词条对应的特征向量;
根据特征词条对应的特征向量从资源索引库中检索备选词条,其中,资源索引库中包括全部词条的特征向量;
根据特征词条与备选词条的编辑距离确定目标词条,以实现文本的纠错。
进一步地,在提取目标文本的特征词条的步骤之前,文本检索纠错方法还包括:去除目标文本中的标点符号。
进一步地,在对特征词条进行转换处理得到特征词条对应的特征向量的步骤之前,文本检索纠错方法还包括:判断特征词条的类型,在特征词条的类型为汉字词条的情况下,文本检索纠错方法还包括:将特征词条的类型转换为拼音词条。
进一步地,在特征词条的类型为拼音词条或英文词条的情况下,对特征词条进行转换处理得到特征词条对应的特征向量的步骤包括:利用词袋模型对特征词条进行转换处理,得到特征词条对应的特征向量。
进一步地,根据特征词条对应的特征向量从资源索引库中搜索备选词条的步骤包括:根据特征词条的属性确定资源索引库对应的簇类,根据检索算法和特征词条对应的特征向量从资源索引库对应的簇类中检索备选词条。
进一步地,在根据检索算法和特征词条对应的特征向量从资源索引库对应的簇类中检索备选词条的步骤之前,文本检索纠错方法还包括:对特征词条对应的特征向量和资源索引库中全部词条的特征向量进行扩展压缩处理,使得特征词条对应的特征向量和资源索引库中全部词条的特征向量的维度与检索算法指示的维度一致。
进一步地,编辑距离包括汉字编辑距离、拼音编辑距离和英文编辑距离。
根据本发明实施例的第二方面,提供了一种文本检索纠错装置,包括:
特征词条提取模块,用于提取目标文本的特征词条;
转换处理模块,用于对特征词条进行转换处理得到特征词条对应的特征向量;
检索模块,用于根据特征词条对应的特征向量从资源索引库中检索备选词条,其中,资源索引库中包括全部词条的特征向量;
纠错模块,用于根据特征词条与备选词条的编辑距离确定目标词条,以实现文本的纠错。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911365262.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:物联网终端平台
- 下一篇:一种功能程序唤醒方法和装置