[发明专利]一种多特征融合的句子级译文质量估计方法

说明书

本发明公开一种多特征融合的句子级译文质量估计方法，包括以下步骤：1)并行提取词预测特征、语境化词嵌入特征、依存句法特征以及基线特征；2)上述特征提取后，分别对各特征进行进一步整合，针对特征向量采用将各特征由Bi‑LSTM层编码后的最后一个隐状态直接相加的方式和将各个向量按指定维度拼接的方式进行融合；3)通过上述两种融合方式得到两种高维向量，利用sigmoid函数进行最终的HTER值即译文质量分数预测。本发明采用更有效的上下文敏感的语言表示模型进行建模，提出一种融入语境化词嵌入特征的方法，将其与词预测特征相结合，并显性地融入了依存句法特征和17个基线特征，构建了一个多特征融合的译文质量估计模型。

技术领域

本发明涉及一种译文质量估计技术，具体为一种多特征融合的句子级译文质量估计方法。

背景技术

机器翻译通过机器学习方法实现不同语言对之间的转换，近年来取得了巨大的进步，尤其随着深度学习的出现与发展，神经机器翻译因其译文质量较高的优点逐步占据主流地位，而机器译文质量通常根据参考译文计算BLEU值进行评价，参考译文则是由预先提供，且在多数情况下是不易获取的，因此在实际应用中，BLEU值的评价指标显得不够现实。译文质量估计技术(Quality Estimation，QE)便是在无参考译文的情况下对机器译文的质量进行评价。

目前主流的基于深度学习的译文质量估计方法通常采用直接将双语句对输入到神经网络模型的词嵌入层中学习其词序列的向量表示，再进行双语句对之间的深层特征提取的做法，但是由于译文质量估计语料较为匮乏，导致训练过程中容易产生过拟合现象。因此为解决因数据稀少所带来的模型训练问题，研究人员提出引入预训练的词向量的方法，该方法能够减少模型中训练参数个数，有效缓解过拟合现象的发生，但是由于训练词向量所采用的语言模型限制，使得该词向量无法携带较为全面的上下文信息。且由于基于深度学习的译文质量估计模型需要额外的特定于句法分析任务的训练机制来学习双语句对中的隐藏句法，使得当前译文质量估计中的特征学习机制对句法特征的学习不够充分。因此如何更好的学习双语上下文知识以及句法信息在句子级译文质量估计研究中显得尤为重要。

发明内容

针对现有技术中基于神经网络的译文质量估计任务所采用的预训练的词嵌入无法有效利用上下文信息使得语义和句法信息的学习不够充分等不足，本发明要解决的问题是提供一种显性地融入依存句法特征、语境化词嵌入特征、词预测特征和多个基线特征的多特征融合的句子级译文质量估计方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种多特征融合的句子级译文质量估计方法，包括以下步骤：

1)并行提取词预测特征、语境化词嵌入特征、依存句法特征以及基线特征；

2)上述特征提取后，分别对各特征进行进一步整合，针对特征向量采用将各特征由Bi-LSTM层编码后的最后一个隐状态直接相加的方式和将各个向量按指定维度拼接的方式进行融合；

3)通过上述两种融合方式得到两种高维向量，利用sigmoid函数进行最终的HTER值即译文质量分数预测。

步骤1)中，提取语境化词嵌入特征为：

采用基于上下文的语言表示模型BERT作为特征提取器，其使用双向transformer作为编码器，编码器中的self-attention操作将句子中每个词的位置信息进行编码融入，同时引入遮蔽机制利用输入语言的上下文信息，将其用作词嵌入模型以提取源语言和机器译文的语境化的词嵌入特征；

同时对源语言和机器输出译文进行编码，得到双语词嵌入并将其进行拼接作为一种特征。

步骤1)中提取依存句法特征为：