[发明专利]一种文本检索纠错方法和装置

说明书

本发明公开了一种文本检索纠错方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：提取目标文本的特征词条；对特征词条进行转换处理得到特征词条对应的特征向量；根据特征词条对应的特征向量从资源索引库中检索备选词条，其中，资源索引库中包括全部词条的特征向量；根据特征词条与备选词条的编辑距离确定目标词条，以实现文本的纠错。该实施方式提高了文本检索纠错效率和纠错效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本检索纠错方法和装置。

背景技术

信息检索(Information Retrieval，IR)，就是将信息按一定的方式组织起来，并根据用户的需要找出相关信息的过程和技术。但是用户输入的文本信息或者经过ASR(Automatic Speech Recognition，自动语音识别)转化后的文本信息可能存在错误的情况，这就需要后端具备文本纠错的能力，在进行信息检索之前完成文本信息的纠错。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有方法主要是针对单个字进行检索，纠错速度慢，且纠错效果较差。

发明内容

有鉴于此，本发明实施例提供一种文本检索纠错方法和装置，能够基于词条进行检索，提高了文本检索纠错效率和纠错效果。

为实现上述目的，根据本发明实施例的第一方面，提供了一种文本检索纠错方法，包括：

提取目标文本的特征词条；

对特征词条进行转换处理得到特征词条对应的特征向量；

根据特征词条对应的特征向量从资源索引库中检索备选词条，其中，资源索引库中包括全部词条的特征向量；

根据特征词条与备选词条的编辑距离确定目标词条，以实现文本的纠错。

进一步地，在提取目标文本的特征词条的步骤之前，文本检索纠错方法还包括：去除目标文本中的标点符号。

进一步地，在对特征词条进行转换处理得到特征词条对应的特征向量的步骤之前，文本检索纠错方法还包括：判断特征词条的类型，在特征词条的类型为汉字词条的情况下，文本检索纠错方法还包括：将特征词条的类型转换为拼音词条。

进一步地，在特征词条的类型为拼音词条或英文词条的情况下，对特征词条进行转换处理得到特征词条对应的特征向量的步骤包括：利用词袋模型对特征词条进行转换处理，得到特征词条对应的特征向量。

进一步地，根据特征词条对应的特征向量从资源索引库中搜索备选词条的步骤包括：根据特征词条的属性确定资源索引库对应的簇类，根据检索算法和特征词条对应的特征向量从资源索引库对应的簇类中检索备选词条。

进一步地，在根据检索算法和特征词条对应的特征向量从资源索引库对应的簇类中检索备选词条的步骤之前，文本检索纠错方法还包括：对特征词条对应的特征向量和资源索引库中全部词条的特征向量进行扩展压缩处理，使得特征词条对应的特征向量和资源索引库中全部词条的特征向量的维度与检索算法指示的维度一致。

进一步地，编辑距离包括汉字编辑距离、拼音编辑距离和英文编辑距离。

根据本发明实施例的第二方面，提供了一种文本检索纠错装置，包括：

特征词条提取模块，用于提取目标文本的特征词条；

转换处理模块，用于对特征词条进行转换处理得到特征词条对应的特征向量；

检索模块，用于根据特征词条对应的特征向量从资源索引库中检索备选词条，其中，资源索引库中包括全部词条的特征向量；

纠错模块，用于根据特征词条与备选词条的编辑距离确定目标词条，以实现文本的纠错。