[发明专利]一种基于BERT的海运邮件命名实体识别方法

权利要求书

1.一种基于BERT的海运邮件命名实体识别方法，其特征在于，包括以下步骤：

步骤1、对海运邮件进行数据预处理，获得海运邮件数据集；

步骤2、统计海运邮件数据集中的高频词汇构建扩展词汇表；

步骤3、调用Word2Vec模型，利用Word2Vec模型和扩展词汇表生成扩展词向量；

步骤4、调用BERT模型，利用BERT模型和海运邮件数据集训练生成原生词向量；

步骤5、合并扩展词向量和原生词向量形成海运邮件词向量；

步骤6、基于海运邮件数据集使用BERT模型训练海运邮件词向量，获得海运邮件词向量所在整句的上下文信息，即分布式特征；

步骤7、将分布式特征输入到神经网络中，利用神经网络中的全连接层将分布式特征映射到样本标签空间中，获得输入数据对应每个标签的归一化概率。

步骤8、调用条件随机场，将归一化概率输入到条件随机场中获得标签序列，所述标签序列用于标明邮件命名实体类型。

2.如权利要求1所述的一种基于BERT的海运邮件命名实体识别方法，其特征在于，步骤1中对海运邮件进行数据预处理具体为：

步骤1.1、对海运邮件进行文本切分，短文本相邻时进行拼接，短文本和长文本相邻时进行切分并拼接，使切分或拼接后的文本不超过预设的长度；其中超过预设长度的文本为长文本，小于预设长度的文本为短文本；

步骤1.2、将切分或拼接后的文本删除停用词、网址和HTML标签，获得海运邮件数据集。

3.如权利要求1所述的一种基于BERT的海运邮件命名实体识别方法，其特征在于，所述步骤2中通过编写脚本统计海运邮件数据集中出现频率最高的80％的词汇，生成扩展词汇表。

4.如权利要求1所述的一种基于BERT的海运邮件命名实体识别方法，其特征在于：步骤4中在BERT模型中预设训练次数，将最后一次训练输出的词向量作为原生词向量。

5.如权利要求1所述的一种基于BERT的海运邮件命名实体识别方法，其特征在于：步骤6中利用BERT模型计算海运邮件词向量所在整句的注意力，即上下文信息。