[发明专利]一种基于注意力机制的XML文档翻译及评价方法

说明书

本发明公开一种基于注意力机制的XML文档翻译及评价方法，采用基于自注意力机制的翻译模型进行模型训练；构建基于XML语言的平行语料库，构建词表，并且将得到的相应词由独热向量转换成词嵌入向量；构建XML文档预处理系统，判断并设置各种标签类型下句子是否需要翻译，将需要翻译的XML句子中的标签替换成统一符号；构建XML文档后处理系统，将翻译模型生成的句子中的统一符号还原成输入文件对应的标签；构建XML文档翻译质量评价系统，模型翻译的句子的标签内容和数量的准确率，句子翻译质量和标签在句子中的位置是否正确。本发明设置和选择每种标签类型下句子是否进行翻译，并利用XML标签构建用户词典，解决了标签的翻译问题。

技术领域

本发明涉及一种神经机器翻译技术，具体为一种基于注意力机制的XML文档翻译及评价方法。

背景技术

机器翻译是指，利用计算机将一种自然语言转换成另一种自然语言的过程。随着技术的发展，基于深度学习的神经机器翻译技术成为了主流。相比于传统的基于统计的机器翻译方法，神经机器翻译的译文在句子流畅度，句意准确度等方面的表现都更佳。从机器翻译质量评价指标BLEU值来看，在语料丰富的情况下，神经机器翻译取得的效果也是远优于统计机器翻译。并且在某些任务中，神经机器翻译已经取得了与专业翻译人员相媲美的效果。

神经机器翻译取得的成果，与神经网络独特的网络结构、算法等息息相关。神经机器翻译的模型架构为编码器-解码器框架，其特点是，利用编码器将输入的文字序列转化为包含文字信息的向量，然后利用解码器将这个向量转换为目标语言。编码器和解码器主要由不同的中间网络层组成，常用的中间层有循环神经网络，卷积神经网络，基于注意力的网络等。其中卷积神经网络共享卷积核，可高效处理高维数据，在机器翻译中，可用于提取特征，而循环神经网络可用于描述时间上连续的输出状态，有记忆功能，贴合文字序列的特点，可用于解码器按序解码目标文件。

早期的编码器-解码器框架，就是使用卷积神经网络编码源语言序列，循环神经网络转换模型中间向量为目标语言。循环神经网络虽能处理序列信息，但其对历史信息的记忆会随着句子序列的增长而衰减，于是一种长短时记忆网络(LSTM)被提出。LSTM的特点就是能够学习长距离依赖关系，它主要通过门结构来选择需要被记忆或遗忘的信息。LSTM的整体计算较为繁琐，于是很多针对优化LSTM的模型被提出，其中最广为人知的为GRU。GRU将LSTM中的遗忘门和输入门组合成一个更新门，具有比LSTM更高的计算效率。

随后注意力机制在神经机器翻译中的成功应用，将机器翻译带上了一个新的高度。注意力机制模仿了人类翻译的过程，模型在解码时，并不像循环神经网络那样，将所有单词视同一律，而是为不同单词赋予不同的权重，与当前时刻翻译的词相关性高的词，将获得较高的注意力权重，可以看出，注意力机制的引入，缓解了循环神经网络的不足。

语言对之间的神经机器翻译受到了学术界和工业界的广泛关注，随着研究人员和机构的投入增大，机器翻译的质量也得到了进一步的提升，与之相比，基于XML文档的翻译却没有太好的效果。不同于传统的句子级或文档级的翻译，XML文件中包含很多具有实际意义且无需翻译的标签，如何保障译文中标签数量，内容和位置的准确性，成了一大难题，现有的神经机器翻译模型，并不能很好的处理XML中的标签与译文之间的关系，无法解决上述技术问题。

发明内容

针对现有技术中神经机器模型不能很好的处理XML中的标签与译文间的关系等不足，本发明要解决的技术问题是提供一种基于注意力机制的XML文档翻译及评价方法，利用人类翻译习惯、数据预处理、后处理等手段，完善XML文档的翻译，且完成了一种新的评价指标，用于帮助评估XML文档的翻译效果，有助于对翻译效果进行更准确的修正。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种基于注意力机制的XML文档翻译及评价方法，XML文档至少包括XML标签和待翻译的句子，其特征在于：使用标签区分不同句子之间的关系，包括以下步骤：