[发明专利]平行语料处理方法、装置、存储介质及计算机设备

说明书

本发明公开了一种平行语料处理方法、装置、存储介质及计算机设备。其中，该方法包括：获取搜索数据集，对搜索数据词进行分词，并统计得到的各个分词的词频；根据统计的词频，确定平行语料中正确词的候选集合；确定正确词的候选集合中每个正确词的错误词候选集；根据每个正确词，以及每个正确词的错误词候选集生成平行语料。本发明解决了平行语料数据稀缺的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种平行语料处理方法、装置、存储介质及计算机设备。

背景技术

在搜索场景中，对用户输入的搜索词(query)进行纠错，使用纠错模型纠错后的query发起搜索，可以提高搜索对象的曝光率。

然而，纠错模型的训练及优化需要大量平行语料，但纠错平行语料往往很少甚至没有，且人工标注平行语料成本较高。

在相关技术中，使用通用搜索领域中的搜索会话(Session)数据来挖掘纠错平行语料。其原理是用户在query输入错误时，若搜索结果不符合预期，用户会对query进行纠正，提取出更正前后的query作为纠错平行语料。需要说明的是，上述方案并非在所有场景均能达到较好的效果，例如，对于电商搜索场景，采用上述方法并不能准确地抽取出纠错平行语料。例如，在电商搜索中用户输入的query大多数是商品名，而大多数的输入错误是由于用户不知道准确完整的商品名造成的，在这种情况下即便搜索结果不符合预期，用户也是无法对输入query进行更正，因此从电商搜索Session数据中是无法挖掘出准确的纠错平行语料的。在上述描述中是以纠错平行语料为例进行说明的，而在相关技术中其它类型的平行语料也存在上述类似问题。

因此，在相关技术中，仍然存在平行语料数据稀缺的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种平行语料处理方法、装置、存储介质及计算机设备，以至少解决平行语料数据稀缺的技术问题。

根据本发明实施例的一个方面，提供了一种平行语料处理方法，包括：获取搜索数据集，对所述搜索数据词进行分词，并统计得到的各个分词的词频；根据统计的词频，确定平行语料中正确词的候选集合；确定所述正确词的候选集合中每个正确词的错误词候选集；根据所述每个正确词，以及所述每个正确词的错误词候选集生成所述平行语料。

根据本发明实施例的另一方面，还提供了一种平行语料处理方法，包括：接收用户输入的搜索词；在所述搜索词为纠错平行语料中的错误词的情况下，获取与所述错误词对应的正确词，其中，所述纠错平行语料通过以下方式生成：对搜索数据集进行分词，从得到的分词中确定正确词，以及该正确词的错误词候选集，并依据所述正确词和所述错误词候选集生成所述纠错平行语料；依据所述正确词进行搜索，并向所述用户反馈搜索结果。

根据本发明实施例的另一方面，还提供了一种平行语料处理装置，包括：获取模块，用于获取搜索数据集，对所述搜索数据词进行分词，并统计得到的各个分词的词频；第一确定模块，用于根据统计的词频，确定平行语料中正确词的候选集合；第二确定模块，用于确定所述正确词的候选集合中每个正确词的错误词候选集；生成模块，用于根据所述每个正确词，以及所述每个正确词的错误词候选集生成所述平行语料。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的平行语料处理方法。

根据本发明实施例的另一方面，还提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时执行上述中任意一项所述的平行语料处理方法。