[发明专利]基于Lattice LSTM的古文领域命名实体识别方法和系统

权利要求书

1.一种基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，包括：

采用甲言分词对预训练古文数据进行分词；

采用word2vec模型对分词后的预训练古文数据进行预训练得到预训练的字词向量；

将数据集数据和所述预训练的字词向量输入至Lattice LSTM模型中进行训练，得到优化后的Lattice LSTM模型；

将待识别古文数据输入至优化后的Lattice LSTM模型进行命名实体识别。

2.如权利要求1所述的基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，将数据集数据和所述预训练的字词向量输入至Lattice LSTM模型中进行训练，得到优化后的Lattice LSTM模型的步骤中，包括：

获取数据集数据；

对所述数据集数据进行标注得到标注数据；

将标注数据按照预设数值比例进行划分，得到训练集数据、验证集数据和测试集数据；

将所述训练集数据和所述预训练的字词向量输入至Lattice LSTM模型中进行训练，得到优化后的Lattice LSTM模型；

将所述测试集数据输入至优化后的Lattice LSTM模型中进行评估，得到评估结果。

3.如权利要求2所述的基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，对所述数据集数据进行标注得到标注数据的步骤中，包括：

获取预设实体种类信息，所述预设实体种类信息包括人名、地名、官职名和朝代名中的至少之一；

根据所述预设实体种类信息对数据集数据采用BIO标注体系进行标注得到标注数据。

4.如权利要求3所述的基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，所述标注数据包括B-PER代表人名首字、I-PER代表人名非首字，B-LOC代表地名首字、I-LOC代表地名非首字，B-POS代表官职名首字、I-POS代表官职名非首字，B-DYN代表朝代名首字、I-DYN代表朝代名非首字，O代表该字不属于命名实体的一部分。

5.如权利要求2所述的基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，所述测试集数据为人工修正后的数据，所述评估结果包括精确率、召回率和F1值。

6.如权利要求1所述的基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，

所述甲言分词为字符级隐马尔可夫分词；

所述word2vec模型为Skip-gram模型，所述Skip-gram模型的词向量的长度为300，迭代次数为8。

7.如权利要求1-6任一所述的基于Lattice LSTM的古文领域命名实体识别方法，其特征在于，所述优化后的Lattice LSTM模型的最优超参数为字向量的维度300、lattie词向量维度300、LSTM层数1、学习率初始值0.015、学习率的衰减值0.05、字嵌入层随机丢弃率0.5、lattice网络随机丢弃率0.5。

8.一种基于Lattice LSTM的古文领域命名实体识别系统，其特征在于，包括：

分词模块，用于采用甲言分词对预训练古文数据进行分词；

预训练字词向量模块，用于采用word2vec模型对分词后的预训练古文数据进行预训练得到预训练的字词向量；

模型优化模块，用于将数据集数据和所述预训练的字词向量输入至Lattice LSTM模型中进行训练，得到优化后的Lattice LSTM模型；

命名实体识别模块，用于将待识别古文数据输入至优化后的Lattice LSTM模型进行命名实体识别。