[发明专利]一种基于改进Transformer+CRF的老挝语命名实体识别方法

摘要

本发明公开了一种基于改进Transformer+CRF的老挝语命名实体识别方法，属于自然语言处理中小语种识别领域。本发明采用改进的Transformer模型对老挝语进行编码，再用CRF(条件随机场)模型进行解码，获得最优的标注序列。本文发明首先用Transformer作为字符编码器对老挝语的单个字符进行字符编码，将编码得到的字符级向量与预训练的词向量拼接并进行位置编码，作为Transformer编码组件的输入，先后通过多头注意力层和前馈神经网络层的训练，最后将得到的向量集合输入到融合了老挝语人名地名机构名语言学特征的CRF模型中进行命名实体识别训练，得到了融合了老挝语语言规则的命名实体识别模型。本发明的识别效果比主流的BLSTM+CRF的命名实体识别方法有所提升。