[发明专利]一种基于BERT的海运邮件命名实体识别方法

说明书

本发明公开了一种基于BERT的海运邮件命名实体识别方法，其包括对海运邮件进行数据预处理，获得海运邮件数据集；统计高频词汇构建扩展词汇表；利用Word2Vec模型生成扩展词向量；利用BERT模型训练生成原生词向量；合并扩展词汇表和原生词汇表形成海运邮件词汇表，合并扩展词向量和原生词向量形成海运邮件词向量；利用BERT模型训练海运邮件词向量获得上下文信息即分布式特征；利用神经网络中的全连接层将分布式特征映射到样本标签空间和调用条件随机场标签序列。本发明利用BERT模型和注意力机制训练海运邮件词向量获得上下文信息，不需要频繁制定规则，使得在大量海运邮件中识别效果要更好。

技术领域

本发明涉及邮件识别领域，尤其涉及一种基于BERT的海运邮件命名实体识别方法。

背景技术

现有的邮件命名实体识别方法指定的规则只能满足固定格式的邮件，使识别方法召回率低，信息准确率下降，同时海运邮件每个人的写作风格不同，长短句掺杂，缩略词多，专业词汇丰富，而且每封邮件每种实体出现次数绝大数只有一到两次，所以对于这种情况现有的识别方法很难在有限的信息中很好的学到海运邮件重要信息的相关特征。

发明内容

本发明提供一种基于BERT的海运邮件命名实体识别方法，以克服现有的识别方法无法得到海运邮件重要信息的相关特征等技术问题。

为了实现上述目的，本发明的技术方案是：

一种基于BERT的海运邮件命名实体识别方法，包括以下步骤：

步骤1、对海运邮件进行数据预处理，获得海运邮件数据集；

步骤2、统计海运邮件数据集中的高频词汇构建扩展词汇表；

步骤3、调用Word2Vec模型，利用Word2Vec模型和扩展词汇表生成扩展词向量；

步骤4、调用BERT模型，利用BERT模型和海运邮件数据集训练生成原生词向量；

步骤5、合并扩展词向量和原生词向量形成海运邮件词向量；

步骤6、基于海运邮件数据集使用BERT模型训练海运邮件词向量，获得海运邮件词向量所在整句的上下文信息，即分布式特征；

步骤7、将分布式特征输入到神经网络中，利用神经网络中的全连接层将分布式特征映射到样本标签空间中，获得输入数据对应每个标签的归一化概率。

步骤8、调用条件随机场，将归一化概率输入到条件随机场中获得标签序列，所述标签序列用于标明邮件命名实体类型。

进一步的，步骤1中对海运邮件进行数据预处理具体为：

步骤1.1、对海运邮件进行文本切分，短文本相邻时进行拼接，短文本和长文本相邻时进行切分并拼接，使切分或拼接后的文本不超过预设的长度；其中超过预设长度的文本为长文本，小于预设长度的文本为短文本；

步骤1.2、将切分或拼接后的文本删除停用词、网址和HTML标签，获得海运邮件数据集。

进一步的，所述步骤2中通过编写脚本统计海运邮件数据集中出现频率最高的80％的词汇，生成扩展词汇表。

进一步的，步骤4中在BERT模型中预设训练次数，将最后一次训练输出的词向量作为原生词向量。

进一步的，步骤6中利用BERT模型计算海运邮件词向量所在整句的注意力，即上下文信息。

有益效果：本发明利用BERT模型和注意力机制训练海运邮件词向量获得上下文信息，不需要频繁制定规则，使得在大量海运邮件中识别效果要更好；通过Word2Vec模型和BERT模型预先获得词向量，解决了通用模型在海运邮件领域具备未登陆词的问题；调用条件随机场，通过转移矩阵学习得到前后标签之间的关联信息，即注意力，从而提高序列标注的准确性