[发明专利]融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置

说明书

本发明涉及融合预训练语言模型及结构特征的英‑缅双语平行句对抽取方法及装置，属于自然语言处理技术领域。本发明包括步骤：数据预处理构建英‑缅平行句对数据集；利用基于多语言预训练语言模型训练英语和缅甸语词向量，以共享语义空间；通过融合英‑缅句子结构特征及孪生神经网络构建英‑缅双语平行句对抽取模型；收集双语文本并使用融合多语言预训练语言模型及英‑缅句子结构特征及孪生网络的英‑缅双语平行句对抽取模型计算每一句对的相似度，并设定相似度阈值来抽取英‑缅双语平行句对。本发明有效的从英‑缅可比语料中抽取平行句对并且降低对语义相似但不平行的句对的误判，为开展英‑缅神经机器翻译研究工作提供了数据支撑。

技术领域

本发明涉及融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置，属于自然语言处理技术领域。

背景技术

英-缅平行句对抽取是缅甸语自然语言处理的基础任务，高质量的平行句对是开展英-缅神经机器翻译的基础和前提。英语和缅甸语都是缅甸的官方语言，互联网中存在大量的英语和缅甸语的双语数据，这些数据大多是主题相关、内容相似的双语可比文档，因此可以从英-缅双语可比语料中获取平行句对。英语和缅甸语属于语言差异较大的语言，直接影响英-缅双语句对抽取的效果。不仅需要解决语义空间上的差异，同时还需解决对语义相似但不平行句对的误判问题，以提高英-缅平行句对抽取的准确性，获取高质量的英-缅平行句对。

发明内容

本发明提供了融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置，以用于解决英-缅语义空间的差异以及对语义相似但不平行句对的误判问题。

本发明的技术方案是：融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法，所述方法包括：

Step1、数据预处理构建英-缅平行句对数据集；

Step2、利用基于多语言预训练语言模型训练英语和缅甸语词向量，以共享语义空间；

Step3、通过融合英-缅句子结构特征及孪生神经网络构建英-缅双语平行句对抽取模型；

Step4、收集双语文本并使用融合多语言预训练语言模型及英-缅句子结构特征及孪生网络的英-缅双语平行句对抽取模型计算每一句对的相似度，并设定相似度阈值来抽取英-缅双语平行句对。

作为本发明的进一步方案，所述步骤Step1的具体步骤为：

Step1.1、利用网络爬虫从英-缅双语平行网站爬取包含新闻类、经济类等领域的英-缅双语文本，进行句子切分，去掉数据集中包含非英语和缅甸语字符的数据，通过人工整理得到共494816条英-缅平行数据；

Step1.2、由于缅甸语与英语不同，不以空格分词。因此对缅甸语进行分词处理，为了避免音节切分错误对分词的影响，充分利用缅甸语字符、音节以及词语之间的组合特点，利用神经联合训练模型实现缅甸语的音节切分、分词及词性标记任务。

作为本发明的进一步方案，所述步骤Step2中：

由于随机初始化词向量在英-缅这样不相似的语言对上效果较差，特别是在语义空间上存在较大差异，因此本发明利用基于多语言预训练语言模型(MultilingualBidirectional Encoder Representations from Transformers，MBERT)微调MBERT中的参数信息，训练英语和缅甸语的双语词向量，使两种语言能够共享语义空间；

其中，基于MBERT预训练英语词向量时，由于英语文本以空格分词，因此Wordpiece分词后预训练的词向量直接作为英语词汇的词向量；