[发明专利]搜索词纠错对构建方法、终端及存储介质

说明书

本发明涉及人工智能技术领域，提供一种搜索词纠错对构建方法、终端及存储介质，包括：基于从文本语料库中筛选出的多个候选词语片段构建两颗编辑距离树；获取用户历史搜索的多个文本数据中的多个用户词语片段；针对每个用户词语片段，根据两颗编辑距离树查询出对应的目标词语片段，基于用户词语片段和目标词语片段构建多个词语片段纠错对及计算纠错分值；基于多个词语片段纠错对及纠错分值训练两个纠错对打分模型，从而从多个词语片段纠错对中识别出多个目标词语片段纠错对。本发明能够从海量数据中构建出多个词语片段纠错对，提高搜索效率。此外，本发明还涉及区块链技术领域，多个目标词语片段纠错对存储于区块链中。

技术领域

本发明涉及人工智能技术领域，具体涉及一种搜索词纠错对构建方法、终端及存储介质。

背景技术

搜索词纠错是自然语言处理的经典任务，在搜索任务中，对搜索词进行纠错可以提升搜索系统的召回指标，提升用户的搜索体验。搜索词纠错的算法一般通过获取纠错对的方式，通过检索获取、日志获取、平行语料对中抽取的方式。

然而，当需要在狭窄搜索领域中进行搜索时，用户往往存在一个非常明确的搜索意图，搜索的目标领域多为专有名词，与通用的语料数据具有很大的差距。在狭窄搜索领域下，传统的搜索词纠错方案直接进行应用可能存在如下问题：难以直接获取平行语料对，垂直领域搜索时用户搜索的关键词短小，搜索人名时可能出现拼音、字形都无法完全匹配的情况，传统的通过语料构建难以获得有效的平行语料；在搜索日志不够完备的情况下，也无法通过日志抽取潜在的纠错对；狭窄领域下含有大量专有名词，分词算法分出的词汇，不足以作为纠错的基本单位；狭窄领域下的专有名词搜索场景下，需要对一些传统语义下没有错误的词语进行纠错。如在狭窄领域内，有一个专有人名卢伟，用户搜索芦苇一词时，虽然芦苇也是一个正确的词语，但在当前搜索场景下，仍然需要被纠错。

因此，有必要提供一种针对狭窄搜索领域内的搜索词纠错对的获取方法，可以在无平行语料，无搜索日志的情况下，对各种专有名词，转义名词进行纠错，并保持纠错对构建的时效性。

发明内容

鉴于以上内容，有必要提出一种搜索词纠错对构建方法、终端及存储介质，能够从海量数据中构建出多个词语片段纠错对，提高搜索效率。

本发明的第一方面提供一种搜索词纠错对构建方法，所述方法包括：

利用新词发现算法计算出文本语料库中每个词语片段的邻接熵和凝固度并根据所述邻接熵和凝固度筛选出多个候选词语片段；

基于所述多个候选词语片段构建中文字形编辑距离树及构建中文拼音编辑距离树；

获取用户历史搜索的多个文本数据，并利用所述新词发现算法确定出所述多个文本数据中的多个用户词语片段；

针对每个用户词语片段，根据所述中文文字形编辑距离树及所述中文拼音编辑距离树查询出与所述用户词语片段对应的目标词语片段，并基于所述用户词语片段和所述目标词语片段构建多个词语片段纠错对；

计算每一个用户词语片段对应的词语片段纠错对的纠错分值；

基于所述多个词语片段纠错对及对应的纠错分值训练第一纠错对打分模型和第二纠错对打分模型；

通过所述第一纠错对打分模型和所述第二纠错对打分模型从所述多个词语片段纠错对中识别出多个目标词语片段纠错对。

根据本发明的一个可选的实施例，所述基于所述多个词语片段纠错对及对应的纠错分值训练第一纠错对打分模型和第二纠错对打分模型包括：

从所述多个词语片段纠错对中选取出第一预设数量的词语片段纠错对；

为所述第一预设数量的词语片段纠错对设置标识；

将所述第一预设数量的词语片段纠错对及对应的标识作为第一训练数据；