[发明专利]平行语料处理方法、装置、存储介质及计算机设备

权利要求书

1.一种平行语料处理方法，其特征在于，包括：

获取搜索数据集，对所述搜索数据词进行分词，并统计得到的各个分词的词频；

根据统计的词频，确定平行语料中正确词的候选集合；

确定所述正确词的候选集合中每个正确词的错误词候选集；

根据所述每个正确词，以及所述每个正确词的错误词候选集生成所述平行语料。

2.根据权利要求1所述的方法，其特征在于，根据统计的词频，确定平行语料中正确词的候选集合包括：

根据统计的词频，确定词频超过预定词频阈值的高频词；

根据所述高频词生成所述平行语料中正确词的候选集合。

3.根据权利要求1所述的方法，其特征在于，确定所述正确词的候选集合中每个正确词的错误词候选集包括：

针对所述正确词的候选集合中每个正确词，选取与该正确词相似度最大的预定数量的错误词；

根据所述错误词生成该正确词的错误词候选集。

4.根据权利要求3所述的方法，其特征在于，在选取与该正确词相似度最大的预定数量的错误词之前，还包括：

根据以下方式至少之一，确定该正确词与其它词之间的相似度：根据该正确词与其它词之间的拼音的编辑距离确定相似度；根据该正确词与其它词之间的五笔编码的编辑距离确定相似度；根据预定形近字对照表确定该正确词与其它词之间的相似度。

5.根据权利要求4所述的方法，其特征在于，采用对称删除拼写纠错算法确定该正确词与其它词之间的相似度。

6.根据权利要求1所述的方法，其特征在于，在所述平行语料包括纠错平行语料的情况下，根据所述每个正确词，以及所述每个正确词的错误词候选集生成所述平行语料包括：

针对每个正确词，根据该正确词，以及该正确词的错误词候选集中的多个错误词生成多个候选纠错平行语料；

从所述多个候选纠错平行语料中筛选出纠错平行语料。

7.根据权利要求6所述的方法，其特征在于，通过以下方式至少之一，从所述多个候选纠错平行语料中筛选出纠错平行语料：

依据该正确词的词频，以及与该正确词构成候选纠错平行语料的错误词的词频确定预定筛选条件；根据所述预定筛选条件从所述多个候选纠错平行语料中筛选出纠错平行语料；

针对每个候选纠错平行语料，分别获取该候选纠错平行语料中的正确词和错误词的上下文环境；根据所述上下文环境判定该候选纠错平行语料是否为噪声语料；通过从所述多个候选纠错平行语料中删除所述噪声语料的方式，获取所述纠错平行语料；

针对每个候选纠错平行语料，采用D-L编辑算法确定该候选纠错平行语料中的正确词转换为错误词的最少操作数，根据所述最少操作数判定该候选纠错平行语料是否为噪声语料；通过从所述多个候选纠错平行语料中删除所述噪声语料的方式，获取所述纠错平行语料。

8.根据权利要求7所述的方法，其特征在于，根据所述上下文环境判定该候选纠错平行语料是否为噪声语料包括：

分别统计该候选纠错平行语料中的正确词在所述上下文环境中的词频，以及错误词在所述上下文环境中的词频；

在所述正确词在所述上下文环境中的词频小于所述错误词在所述上下文环境中的词频的预定倍数的情况下，确定该候选纠错平行语料为噪声语料。

9.根据权利要求7所述的方法，其特征在于，根据所述最少操作数判定该候选纠错平行语料是否为噪声语料包括：

确定用于判定候选纠错平行语料为噪声语料的操作数阈值；

在所述最少操作数大于所述操作数阈值的情况下，确定该候选纠错平行语料为噪声语料。