[发明专利]基于双向LSTM-CRF的缅甸语分词及词性标注方法及装置

说明书

本发明涉及基于双向LSTM‑CRF的缅甸语分词及词性标注方法及装置，属于自然语言处理技术领域。本发明利用BERT生成基于音节切分的词向量表示；利用双向LSTM‑CRF进行缅甸语分词任务预训练，得到缅甸语分词最优模型；利用双向LSTM‑CRF进行缅甸语词性标注任务预训练，得到缅甸语词性标记最优模型；通过调用已训练好的分词或词性标注模型，对输入的向量化后的缅甸语句子进行分词、词性标记预测；根据上述步骤功能模块化制成基于双向LSTM‑CRF的缅甸语分词及词性标注装置。本发明能实现了对缅甸语句子同时分词和词性标注，解决了缅甸语由于数据缺乏造成分词和标注不准确的问题。

技术领域

本发明涉及基于双向LSTM-CRF的缅甸语分词及词性标注方法及装置，属于自然语言处理技术领域。

背景技术

缅甸语分词和词性标注是缅甸语自然语言研究中的基础任务，传统的缅甸语分词和词性标记的方法大多是基于统计学习来处理，基于统计学习的方法需要大量标注好的缅甸语语料，人工标记费时费力。目前，将缅甸语分词和词性标记任务结合深度学习的方法处理效果更好，但是简单的将缅甸语进行词向量表征是不够的，缅甸语最小的文本单位是音节，结合音节特征处理缅甸语分词和词性标记任务的效果会更好。此外，大多数的研究工作都是将缅甸语分词和词性标记任务分开来处理，缅甸语的词性标记准确性很大程度上依赖于分词的准确程度，将缅甸语分词和词性标记分开处理就容易导致词性标注任务的错误，因此，本文提出基于双向LSTM-CRF的深度学习的方法对资源稀缺型的缅甸语进行分词和词性标注的联合训练。

发明内容

本发明提供了一种基于双向LSTM-CRF的缅甸语分词及词性标注方法，以用于解决缅甸语由于缺少训练语料导致的缅甸语分词不准确，并且将缅甸语分词及词性标注联合起来可以解决缅甸语词性标注准确率不高的问题。

本发明的技术方案是：一种基于双向LSTM-CRF的缅甸语分词及词性标注方法，所述基于双向LSTM-CRF的缅甸语分词及词性标注方法的具体步骤如下：

Step1、缅甸语预处理进行词向量表征：利用BERT结合缅甸语词语上下文中的音节信息，生成基于音节切分的词向量表示；

Step2、采用双向LSTM对词向量表示后的缅甸语进行编码训练，提取缅甸语分词的特征，利用CRF对全局缅甸语单词进行分词标记，训练缅甸语分词模型并得到缅甸语分词最优模型；利用缅甸语预训练好的分词最优模型，对输入的缅甸语句子进行预测，得到全局最优解预测输出缅甸语分词结果；

Step3、采用双向LSTM对上述分词后的缅甸语进行编码训练，提取缅甸语词性标注的特征，利用CRF对全局缅甸语单词进行词性标记，训练缅甸语词性标记模型并得到缅甸语词性标记最优模型；利用缅甸语预训练好的词性标记最优模型，对输入的缅甸语句子进行预测，得到全局最优解预测输出缅甸语词性标注结果。

Step4、通过调用已训练好的分词或词性标注模型，对输入的向量化后的缅甸语句子进行分词、词性标记预测。

作为本发明的优选方案，所述步骤Step1的具体步骤为：

Step1.1、通过亚洲语言树库网站获取到分好词的缅甸语句子；

Step1.2、利用缅甸语音节切分工具将分好词的缅甸语句子的单词按照音节切分单词；

Step1.3、利用BERT预训练缅甸语基于音节切分的词向量表示。

所述步骤Step1.1的具体步骤为：通过亚洲语言树库网站(http://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/)获取到20106句分好词的缅甸语句子。例如，

所述步骤Step1.2的具体步骤为：

缅甸语的最小单位是音节，例如，汉语语义为“我的狗很可爱。”的缅甸语句子利用音节切分后的缅甸语词语表示