[发明专利]一种用于篇章级英译中机器翻译测试集的构建方法

说明书

本发明公开了一种用于篇章级英译中机器翻译测试集的构建方法，获取具有指代、连接、省略的衔接语法的篇章级英文文本数据及其对应的中文文本数据；对获取数据进行过滤处理，形成仅包含英、中文词汇的文本数据；将英文文本数据作为源语言数据，将中文文本数据作为目标语言数据；分别选取两义代词、多义连词及助动词作为查找参数，搜索源语言数据并对目标语言数据进行检查修正；将检查修正后的两种语言数据分别进行分词处理及词性标注后制成候选数据集；分别设置筛选参数，从候选数据集中筛选相应的源语言数据及其对应的目标语言数据，分别制成指代测试集、篇章级连接词测试集及省略测试集。本发明可用于测试及评估不同机器翻译模型篇章级翻译能力。

技术领域

本发明涉及一种机器翻译领域，特别涉及一种用于篇章级英译中机器翻译测试集的构建方法。

背景技术

目前，随着机器翻译技术的逐步完善，贴近实际应用的机器翻译方面的研究越来越多，机器翻译领域的研究重点也逐步从句子级别过渡到篇章级别。由于篇章级别的机器翻译相比于句子级别的机器翻译所关注的文本范围更广，所要考虑的问题与现象更多，所以难度也进一步增加。

在研究机器翻译模型怎样进一步提高翻译能力的同时，如何能更加合理地对模型翻译能力进行评测也成为了研究者们关心的问题。篇章级的机器翻译模型除了要考虑句内的各种语言现象的翻译能力，还要考虑句间(跨句)的语言现象，这要求机器翻译模型对当前句的上下文有综合翻译能力。在评测篇章级机器翻译模型的翻译能力时，同样也要关注模型对于句间的语言现象的翻译能力。

已有的评测指标多为自动评测时所用到的评测指标，在计算指标的分值时，多为仅考虑句内的各种语言现象，更适合对句内的各种语言现象进行评测，而没有特别为篇章级语言现象所设计的相关的评测指标。对于篇章级的语言现象还需要具有针对性的评测方法。

在其他翻译语言对上，也有对于篇章级机器翻译的相关研究，对模型翻译能力的测评时，是从某个篇章级语言现象考虑。例如，在英法、英德翻译方向上考虑相应语言中代词的翻译效果，在法英、英德和法德等翻译方向上考虑篇章级连接词的翻译效果，而在省略现象中仅看到了英俄翻译方向上相关的研究。

参考其他语言方向上的相关研究，结合英译中的机器翻译时的实际情况，在此发明中我们针对英译中时容易出现错误的三种语言现象：指代、篇章级连接词和省略现象提出构建相应测试集的方法，根据此方法构建的测试集，可以用来测试不同的篇章级机器翻译模型的翻译能力。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种用于篇章级英译中机器翻译测试集的构建方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种用于篇章级英译中机器翻译测试集的构建方法，该方法包括：

获取具有指代、连接、省略的衔接语法的篇章级英文文本数据及其对应的中文翻译文本数据；

对获取的中英文文本数据进行初步过滤处理，形成仅包含中英文词汇的文本数据；将处理后的英文文本数据作为源语言数据，将处理后的中文翻译文本数据作为目标语言数据；

将同时具有单复数或男女性别两种表达含义的代词称为两义代词，选取两义代词作为查找参数，搜索源语言数据，当源语言数据中的某一句出现两义代词时，且该句的前一句给出决定单复数或男女性别的信息，则检查目标语言数据中对应的翻译文本，判断对应的单复数或性别表述是否正确，并对错误进行修正；

将具有两种以上含义的英文篇章级连接词称为多义连词，选取若干个多义连词，作为查找参数搜索源语言数据，当源语言数据中的某一句出现多义连词时，则检查目标语言数据中该句对应的翻译文本及其上下文信息，判断对多义连词的翻译是否正确，并对错误进行修正；