[发明专利]一种对双语语料库进行句子对齐的方法及装置

权利要求书

1.一种对双语语料库进行句子对齐的方法，其中所述双语语料库中的源语言语料和目标语言语料是块对齐的，所述方法包括：

针对源语言和目标语言的每个对齐块，利用从源块和目标块中提取出的源关键词列表和目标关键词列表生成候选翻译对列表，所述候选翻译对列表中的每个条目为包括源和目标关键词对的翻译对；

根据所述候选翻译对列表中的每个翻译对的翻译概率生成双语词典，所述双语词典中的每个条目包括源和目标关键词对及其翻译概率；

以所述双语词典中的每个条目中的源和目标关键词对为种子翻译对，并参考所述种子翻译对的上下文内容对所述双语词典进行扩展；

基于扩展后的双语词典，将源块中的源句子翻译成目标语言，并计算翻译结果与目标块中的目标句子之间的相似度；以及

依据所述相似度对源句子和目标句子进行对齐。

2.根据权利要求1所述的方法，还包括：

对所述候选翻译对列表中的翻译对进行过滤，具体为：对于源关键字sw的候选翻译集合{tw₁，tw₂，…，tw_n}中的每个候选翻译tw_i，只有sw也出现在所述tw_i的候选翻译集合中，且tw_i不在停用词列表中，才保留tw_i；或者，对于目标关键字tw的候选翻译集合{sw₁，sw₂，…，sw_n}中的每个候选翻译sw_i，只有tw也出现在所述sw_i的候选翻译集合中，且sw_i都不在停用词列表中，才保留sw_i。

3.根据权利要求1所述的方法，其中所述根据所述候选翻译对列表中的每个翻译对的翻译概率生成双语词典的步骤，包括：

通过以下公式计算所述候选翻译对列表中的每个翻译对的翻译概率：

Pt(sw_i，tw_j)＝log(P(sw_i|tw_j)×P(tw_j|sw_i))，其中，所述translation_num(a)为a在b的候选翻译集合中的出现次数；word_frequency(b)是b的词频；sw_i为第i个源关键词，tw_i为第j个目标关键词；以及

选取所述翻译概率大于预设阈值的翻译对生成所述双语词典。

4.根据权利要求1所述的方法，其中，所述将源块中的源句子翻译成目标语言的步骤，具体包括：

通过查询所述双语词典得到源句子中各个源关键词对应的候选翻译集；

以及，所述计算翻译结果与目标块中的目标句子之间的相似度的处理步骤，具体包括：

按照所述源关键词与所述候选翻译之间的翻译概率，计算源句子与目标句子的句翻译分值；

计算锚点词分值；

根据源句子和目标句子的长度，计算句子长度惩罚值；以及

依据所述句翻译分值、所述锚点词分值和所述句子长度惩罚值，计算源句子与目标句子的相似度。

5.根据权利要求1所述的方法，其中计算源句子与目标句子的句翻译分值进一步包括：利用源关键词在源句子中的出现次数、目标关键词在目标句子中的出现次数以及源关键词和目标关键词的翻译概率计算所述句翻译分值。