[发明专利]一种结合相似度和图匹配的老-汉双语句子对齐方法

说明书

本发明涉及一种结合相似度和图匹配的老‑汉双语句子对齐方法，属于自然语言处理和机器学习技术领域。本发明首先依据构建的老‑汉双语词典计算出老挝语和汉语句子的相似度值，然后充分考虑双语句子长度信息，计算出老挝语和汉语句子长度比例值，综合两个值计算出老挝语和汉语句子相似度值，使得老‑汉双语句子相似度计算具有较高的可靠性，这样就能在对齐过程中将相似度较高的老挝语和汉语句子进行对齐，简化句子对齐的流程。本发明能够有效地从双语语料库中挖掘出平行句对，老‑汉双语句子相似度的计算和二部图的最佳匹配算法充分结合，能够有效提高句子对齐的准确率，因此本发明具有一定的研究意义。

技术领域

本发明涉及一种结合相似度和图匹配的老-汉双语句子对齐方法，属于自然语言处理和机器学习技术领域。

背景技术

双语语料是统计机器翻译、跨语言检索、双语词典构建等研究领域的重要基础资源，双语语料的数量与质量很大程度上影响甚至决定了相关任务的最终结果。而平行句对的挖掘则是构建双语语料的关键技术，因而具有重要的研究价值。很多情况下，双语语料我们可以获得，但是得到的文本通常并不是以句子为单位对齐的，例如有些是以段落或者按照整篇文章来对齐的。这种情况下，就需要将这些不是以句子为单位对齐的语料整理成句子对齐格式，从而进行平行句对的挖掘。

发明内容

本发明要解决的技术问题是提供一种结合相似度和图匹配的老-汉双语句子对齐方法，能够有效地从双语语料库中挖掘出平行句对，将老-汉双语句子相似度的计算和二部图的最佳匹配算法充分结合，能够有效提高句子对齐的准确率。

本发明采用的技术方案是：一种结合相似度和图匹配的老-汉双语句子对齐方法，包括如下步骤：

Step1、针对老-汉双语平行语料中的对齐片段，分别提取老挝语和汉语的特征词生成特征词列表，进而生成老挝语和汉语特征词的候选相似；

Step1.1、首先计算每一个对齐片段中老挝语和汉语的词频TF与反文档IDF比值的频率值，即TF/IDF，以此来确定老挝语和汉语中的一个词是否为特征词，其中，某一个词w的计算方法分别表示为公式(1)和(2)所示：

其中WN_w表示词w在片段P中的词频，WN_p表示一个片段p包含的总的词汇数，DN_t表示语料中所有对齐片段的总数量，DN_w表示在所有片段中包含词w的片段的数量，TF_w为词w的词频，IDF_w为词w的反文档，则词w的TF/IDF值的计算方法如公式(3)所示：

设定一个阈值，将老挝语和汉语中TF/IDF大于此阈值的词作为各自的特征词，并形成老挝语和汉语的特征词列表；

Step1.2、分别按照TF/IDF值的大小对老挝语和汉语的特征词列表中的特征词进行排序，在各自的列表中处于相似位置的词是互为译文的；

Step1.3、根据排序后的特征词列表，选择在列表中分布相近的词汇作为候选相似对，依次针对老挝语特征词列表中的每一个特征词，以对应的汉语特征词为中心选取特定数目的汉语特征词，作为老挝语特征词的候选相似；同理根据汉语特征词列表中的每一个特征词也选取特定数目的老挝语特征词，作为其特征词的候选相似；

Step2、根据老挝语和汉语的特征词列表和候选相似生成候选相似对列表，此列表中的每一个相似对都是可能互为翻译的老挝语特征词和汉语特征词，此时需要计算每一个相似对的相似概率，计算方法如公式(4)和(5)所示：

在一个相似对中，定义老挝语特征词LWi、汉语特征词CWj，则这两个特征词之间的相似概率计算如下：