[发明专利]一种基于NPMI方法的汉泰平行句对过滤方法

说明书

本发明公开了一种基于NPMI方法的汉泰平行句对过滤方法，所述基于NPMI方法的汉泰平行句对过滤方法的具体步骤如下：Step1：从汉泰噪声语料中获取高频汉泰词对；Step2：利用NPMI计算高频词对的共现概率；Step3：质量分数评估；Step4：噪声语料过滤。本发明的优点在于：(1)本发明通过融入词对的共现概率对汉泰噪声语料进行过滤，降低了汉泰平行语料中的噪声，提高了汉泰平行语料的质量；(2)本发明并不利用任何干净的汉泰平行语料，只在有噪声平行语料的情况下对噪声语料进行过滤，增加了汉泰过滤方法的泛化性。

技术领域

本发明涉及自然语言处理技术领域，具体是指一种基于NPMI方法的汉泰平行句对过滤 方法。

背景技术

机器翻译是自然语言处理领域的任务之一，应用广泛，且极具研究价值及商用价值，神 经网络机器翻译的出现大大推动了机器翻译的发展。神经网络机器翻译依赖于大量的平行语 料，低资源神经网络机器翻译的发展尤为重要。汉泰神经网络机器翻译存在现有的平行语料， 但包含大量噪声，同时神经网络机器翻译对噪声敏感。为了过滤掉包含噪声的汉泰平行语料， 进而促进汉泰神经网络机器翻译的发展，提出了一种基于NPMI方法的汉泰平行句对过滤方 法。

发明内容

本发明要解决的技术问题是以上所述的技术问题，提供一种能够对带有噪声的汉泰平行 语料进行有效的过滤且为后续汉泰机器翻译工作提供强有力的支撑的基于NPMI方法的汉泰 平行句对过滤方法。

为解决上述技术问题，本发明提供的技术方案为：一种基于NPMI方法的汉泰平行句对 过滤方法，所述基于NPMI方法的汉泰平行句对过滤方法的具体步骤如下：

Step1：从汉泰噪声语料中获取高频汉泰词对：进行汉泰噪声语料的词对齐，获取词对齐 频数高的汉泰词对；

Step2：利用NPMI计算高频词对的共现概率：进行汉泰噪声语料中高频词对的共现概率；

Step3：质量分数评估：利用高频词对的共现概率获得每个汉泰平行句对的共现矩阵，用 共现矩阵来计算每个汉泰平行句对的质量分数；

Step4：噪声语料过滤：利用质量分数和质量分数阈值，过滤掉低于质量分数阈值的汉泰 平行句对。

作为改进，所述的从汉泰噪声语料中获取高频汉泰词对的具体步骤为：

Step1：通过OpenSubtitle获取未分词的汉泰噪声语料，共117万条句对；

Step2：利用jieba和pythainlp对汉语和泰语进行分词；

Step3：通过fast align对汉泰噪声语料进行词对齐，获取词对齐频数高的汉泰词对即高频 词对表。

作为改进，所述的利用NPMI计算高频词对的共现概率的具体步骤为：

Step1：通过高频词对表分别获取其中的汉语词和泰语词，x代表汉语词，y代表泰语词， (x,y)代表汉泰词对；

Step2：分别统计x、y和(x,y)在噪声语料中出现的概率，分别为P(x),P(y),P(x,y)：

其中count(x)代表x在噪声语料中出现的次数，count(*)代表噪声语料存在的句对数量；

Step3：通过NPMI来计算每个词对的共现概率：

作为改进，所述的质量分数评估的具体步骤为：

Step1：将每条汉泰噪声句对中的每个词对利用NPMI的值进行表示，获取共现矩阵C∈R^i×j：