[发明专利]新词识别方法与装置

说明书

本申请涉及计算机技术领域，尤其涉及在信息检索系统中使用的新词识别方法。在新词识别方法中，首先获取信息检索系统的历史查询日志中的单字串，之后，将单字串进行切分，生成候选词汇，并从信息检索系统的历史查询日志中获取与所述候选词汇相关的目标查询日志，最后根据所述目标查询日志识别所述当前候选词汇为新词，且识别所述候选词汇为新词后，将所述候选词汇存储至所述信息检索系统的词特征库中。通过本申请提供的方案，可以高效识别出不断涌现的新词，完善词特征库，进而提高分词的精度，进而提高信息检索系统的检索速度和检索结果准确度。

技术领域

本申请涉及计算机技术领域，具体涉及一种新词识别方法与装置以及一种计算设备。

背景技术

信息检索系统，例如搜索引擎或问答(英文：question answering)系统，是根据用户输入的查询语句进行查询并生成查询结果展示给用户的系统。信息检索系统获取了用户输入的查询语句后，需将查询语句分为一系列的词。如果查询语句为无边界语言，则获取该一系列词的过程也称为分词。例如将“手机购物”分词为“手机”和“购物”，接下来，将分词产生的一系列的词与索引文件进行匹配，并获取该查询语句在索引文件中匹配的各个文件的匹配情况，包括匹配的各个文件的评分或排序，最后将评分最高或排序最靠前的一定数量的文件返回给用户。通过信息检索系统的工作流程可以看出，信息检索系统输出的检索结果的准确与否，很大程度上依赖于分词产生的一系列词的准确性，因此，分词的精度直接决定了信息检索系统的检索的速度和检索结果准确度。比如，把用户输入的查询语句中的AB分成两个词A、B与分成一个词AB相比，前者检索时长较长且检索结果也不如后者准确。

目前的分词技术，均是基于一个已有的词特征库来实现的，对于词特征库中已经存储的词，能够准确分出，而对于不断涌现的新词，比如网络新词、专业词汇等等，却无法准确分出，可见，词特征库的完备性是影响分词的精度的最大因素。

因此，亟需一种高效识别新词的方法，以完善词特征库，提高分词的精度，进而提高信息检索系统的检索速度和检索结果准确度。

发明内容

有鉴于此，本申请提供了一种新词识别方法、装置以及计算设备，以高效识别新词，进而提升信息检索系统的检索速度和检索结果准确度。

为实现上述目的，本申请提供如下技术方案：

本申请的第一方面提供了一种新词识别方法，该方法由信息检索系统中的检索设备执行，包括：从所述信息检索系统的历史查询日志中获取单字串；将所述单字串进行切分，生成候选词汇，所述候选词汇中包括至少两个单字；从所述历史查询日志中获取与所述候选词汇相关的目标查询日志；根据所述目标查询日志计算所述候选词汇的统计指标；判断所述候选词汇的统计指标是否满足预设规则；当所述候选词汇的统计指标满足预设规则时，识别所述候选词汇为新词，并将所述候选词汇存储至所述信息检索系统的词特征库中。

通过获取信息检索系统的历史查询日志中的单字串，随后将单字串进行切分，生成候选词汇，并从信息检索系统的历史查询日志中获取与所述候选词汇相关的目标查询日志，最后根据所述目标查询日志识别所述当前候选词汇为新词，且识别所述当前候选词汇为新词后，将所述候选词汇存储至所述信息检索系统的词特征库中，可以高效识别出不断涌现的新词，完善词特征库，进而提高分词的精度，进而提高信息检索系统的检索速度和检索结果准确度。

结合第一方面，在第一方面的第一种实现方式中，所述目标查询日志的数量为一个，，所述候选词汇的统计指标包括所述候选词汇的出现频率、凝固程度和自由程度中的一个或多个，则，所述判断所述候选词汇的统计指标是否满足预设规则，具体包括：判断所述候选词汇的各个统计指标是否大于对应的预设阈值；当所述候选词汇的各个统计指标均大于对应的预设阈值时，判断所述候选词汇的统计指标满足预设规则。