[发明专利]一种语料处理以及模型训练的方法及系统

说明书

一种语料处理以及模型训练的方法及系统。所述方法包括：挖掘用户会话；获取用户输入的检索词与选择的结果；组合输入的检索词与选择的结果形成至少一组语料对；基于所述至少一组语料对构造平行语料。获得的平行语料可以进一步进行模型训练。本发明提供的方法可以通过挖掘用户会话，分析用户检索过程中的自纠错行为，获取平行语料，将平行语料库作为样本进行模型训练，建立检索词纠错模型。

技术领域

本发明涉及计算机系统，特别涉及一种语料处理进行模型训练的 方法及系统。

背景技术

随着互联网的发展与普及，越来越多的人习惯于通过计算设备获 取知识、信息以及服务。高效快捷的搜索也成为人们生活中不可或缺 的一部分。在搜索框中输入检索词是最常见的搜索方式。在实际使用 过程中，常常出现检索词输入错误、输入检索词遗漏字符等问题。

为了解决上述问题，人们提出了检索词纠错方法。

发明内容

本发明提供了一种语料处理方法，具体包括获取用户输入的检索 词与选择的结果，组合输入的检索词与选择的结果形成至少一组语料 对，基于至少一组语料对构造平行语料，进而得到平行语料库。获得 的平行语料可以用来训练检索词纠错模型，使得该模型能自动对用户 输入的检索词进行纠错。获得的平行语料还可以用在其他场景，例如 机器翻译、输入法纠错等。

第一方面，本发明披露了一种语料处理的方法。该方法包括：获 取用户输入的检索词与选择的结果；组合输入的检索词与选择的结果 形成至少一组语料对；基于所述至少一组语料对构造平行语料，进而 得到平行语料库。

在一些实施例中，所述语料处理的方法包括：基于用户日志挖掘 用户会话；基于所述用户会话获取用户输入的检索词与选择的结果。

在一些实施例中，基于用户日志挖掘所述用户会话的步骤，包括： 结合用户标识符及设定时间段，从所述用户会话中筛选出同一用户在 所述设定时间段内的操作，进而得到所述用户会话。

在一些实施例中，所述语料处理的方法进一步包括：过滤所述至 少一组语料对，并将过滤后的所述至少一组语料对构造为平行语料。

在一些实施例中，过滤所述至少一组语料对的步骤，包括：排除 输入的检索词长度大于预设阈值的语料。

在一些实施例中，过滤所述至少一组语料对的步骤，还包括：排 除输入的检索词是选择的结果的前缀字符串的语料。

在一些实施例中，过滤所述至少一组语料对的步骤，进一步包括： 统计各条语料的内部编辑距离，并排除内部编辑距离大于预设阈值的 语料。

在一些实施例中，过滤所述至少一组语料对的步骤，进一步包括： 统计各条语料的内部转移概率，排除内部转移概率小于预设阈值的语 料。

第二方面，本发明披露了一种语料处理的系统。该系统包括：挖 掘模块，用于挖掘用户会话；获取模块，用于获取所述用户会话中用 户输入的检索词和选择的结果；组合模块，用于组合输入的检索词与 选择的结果形成至少一组语料对；构造模块，用于基于所述至少一组 语料对构造平行语料库。

第三方面，本发明披露了一种计算机可读存储介质。该存储介质 存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机 执行语料处理的方法。

第四方面，本发明披露了一种语料处理的装置，该语料处理的装 置包括处理器，所述处理器用于执行语料处理的方法。

第五方面，本发明披露了一种基于平行语料训练模型的方法。所 述基于平行语料训练模型的方法可以使用由语料处理的方法获得的 平行语料进行模型训练。