[发明专利]基于预训练语言模型评估机器译文质量的方法、装置

说明书

本发明公开了一种评估机器译文质量的方法、装置及设备，该方法包括：获取原文，将原文进行翻译得到机器译文；根据原文和机器译文确定待测数据；基于特征打分模块对待测数据进行预测得到质量评估结果；其中，特征打分模块由训练集训练得到，训练集为对原文和机器译文进行句相似度处理和词相似度处理后得到的数据集。本发明解决了人工翻译流程、质量评估流程效率低、准确率低、质量较低，人工成本高等问题。

技术领域

本发明涉及译文质量评估领域，尤其涉及一种基于预训练语言模型评估机器译文质量的方法、装置及设备。

背景技术

当机器翻译引擎作为人工翻译的助手，在翻译活动中被广泛应用。然而机器翻译引擎的翻译结果质量良莠不齐，经常出现错译、漏译、増译的现象，其中有涉及到字词语句不同级别的各种问题。如果枚举疑问由人工再次评估一遍的话，则相比纯人工翻译，更加将低了整体翻译流程的效率和提高了人工的成本。现有的译文质量评估方法通过学习译员打标的质量标签结果对译文质量进行预测，然而准确率较低，不仅十分依赖大量的专业人工标注书，而且缺乏对译文具体信息的量化评测，无法让人理解译文因为句意或词意未翻译正确而导致的质量降低。

发明内容

本发明提供了一种基于预训练语言模型评估机器译文质量的方法、装置及设备，解决了人工翻译流程、质量评估流程效率低、准确率低、质量较低，人工成本高等问题。

一种评估机器译文质量的方法，包括：

获取原文，将所述原文进行翻译得到机器译文；

根据所述原文和所述机器译文确定待测数据；

基于特征打分模块对所述待测数据进行预测得到质量评估结果；

其中，所述特征打分模块由训练集训练得到，所述训练集为对所述原文和所述机器译文进行句相似度处理和词相似度处理后得到的数据集。

在本发明的一种实施例中，对所述原文和所述机器译文进行句相似度处理和词相似度处理得到训练集，包括：获取所述原文和所述机器译文的句相似度特征；获取所述原文和所述机器译文的词相似度矩阵；对所述词相似度矩阵进行矩阵分解，根据分解后的词相似度矩阵得到词相似度打分向量；根据所述句相似度特征和所述词相似度打分向量生成训练集。

在本发明的一种实施例中，根据所述句相似度特征和所述词相似度打分向量生成训练集，对训练集进行训练后得到特征打分模块，具体包括：将所述句相似度特征和所述词相似度打分向量进行拼接得到句词相似度特征；将所述句词相似度特征与编辑距离标签进行标签匹配，得到带有标签的训练集；所述编辑距离标签根据机器译文和审校后的译文计算获得；将所述训练集输入到线性回归模型中进行训练，得到训练好的特征打分模块，以预测机器译文的编辑距离。

在本发明的一种实施例中，获取所述原文和所述机器译文的句相似度特征，具体包括：对所述原文、机器译文进行句向量编码，得到原文句表征向量和机器译文句表征向量；确定所述原文句表征向量和所述机器译文句表征向量的余弦相似度，作为句相似度特征。

在本发明的一种实施例中，获取所述原文和所述机器译文的词相似度矩阵，具体包括：将原文进行分词，将分词后的原文进行编码得到每个词的表征向量，根据所述原文的每个表征向量生成原文的词向量列表；将机器译文进行分词，将分词后的机器译文进行编码得到每个词的表征向量，根据所述机器译文的每个表征向量生成机器译文的词向量列表；在所述原文的词向量列表和所述机器译文的词向量列表中各取出一个词向量进行两两组合，得到所有词组合；确定每个所述词组合中两个词向量的余弦相似度，所述每个余弦相似度作为词相似度矩阵中的一个元素；将所有词组合的余弦相似度进行组合生成词相似度矩阵。