[发明专利]一种双向词语对齐方法及装置

权利要求书

1.一种双向词语对齐方法，其特征在于，包括：

A、构建源语言到目标语言的第一词语对齐模型和目标语言到源 语言的第二词语对齐模型；

B、利用一致性评估函数，融合所述第一词语对齐模型和第二词 语对齐模型，构建初始目标函数；

C、利用一致性评估函数，对所述第一词语对齐模型和第二词语 对齐模型进行联合训练，形成优化目标函数，并输出联合训练得到的 模型；

D、利用所述优化目标函数及联合训练得到的模型，对平行双语 句对进行词语对齐，得到双向词语对齐结果。

2.根据权利要求1所述的双向词语对齐方法，其特征在于，所述 步骤B前还包括步骤：

构建数据集以及对所述数据集进行预处理；

所述构建数据集包括收集平行双语句对，并将所述双语句对作为 训练语料；

所述对数据集进行预处理包括对数据集中的源语言和目标语言 文本中的句子切分成词、转换大小写和过滤无效字符。

3.根据权利要求2所述的双向词语对齐方法，其特征在于，所述 步骤B中的一致性评估函数包括用于对所述第一词语对齐模型和第二 词语对齐模型的词语对齐的一致性进行衡量的一致性评估函数一；

所述步骤C包括：

C1，针对数据集中的平行双语句对(s,t)，利用第一词语对齐模型 和第二词语对齐模型分别求解，得到源语言到目标语言的第一词语对 齐结果a₁、目标语言到源语言的第二词语对齐结果a₂；

C2，利用一致性评估函数一衡量第一词语对齐结果a₁和第二词语 对齐结果a₂的对齐一致性，得到平行双语句对(s,t)的词语对齐一致性 得分；

C3，将数据集中所有平行双语句对的词语对齐一致性得分相加， 得到目标函数值；

C4，随机调整词语对齐连线，返回步骤C1-C3，重新计算目标函 数值；

C5，判断本次调整词语对齐连线后得到的目标函数值是否增长或 判断本次调整是否达到预设的调整次数；

若所述目标函数值不再增长或达到预设的调整次数，则输出调整 过程中得到的目标函数值最高时对应的第一词语对齐结果a₁和第二 词语对齐结果a₂，并执行步骤C6；

否则返回步骤C4；

C6，利用所述目标函数值最高时对应的第一词语对齐结果a₁和第 二词语对齐结果a₂，重新估计第一词语对齐模型和第二词语对齐模型 的模型参数，并返回步骤C1；重复执行步骤C1-C6，当迭代次数达到 预设的迭代次数时，输出优化目标函数及优化的模型参数，并输出联 合训练得到的模型。

4.根据权利要求3所述的双向词语对齐方法，其特征在于，所述 一致性评估函数一为：

Score_wa＝2|a₁∩a₂|-|a₁∪a₂|；

其中，针对数据集中的句对(s,t)，a₁为通过第一词语对齐模型生 成的第一词语对齐结果，a₂为通过第二词语对齐模型生成的第二词语 对齐结果，a₁∩a₂为第一词语对齐结果和第二词语对齐结果交集中连 线的数目，a₁∪a₂为第一词语对齐结果和第二词语对齐结果并集中连 线的数目。