[发明专利]一种铁路文本命名实体识别方法及装置

说明书

本发明实施例提供一种铁路文本命名实体识别方法及装置，该方法包括：对原始铁路文本数据进行预处理，得到预处理铁路文本数据信息；将预处理铁路文本数据信息输入预设BERT模型，得到铁路文本向量信息；将铁路文本向量信息输入预设BiLSTM‑CRF模型，得到铁路文本命名实体识别结果信息；其中，BERT实现文本上下文的铁路文本特征向量学习，获得铁路行业事故故障文本向量表示。通过利用预设BERT增强故障文本命名实体关键字的向量和语义表示，通过BiLSTM‑CRF模型，实现对于故障文本向量的计算和识别，得到铁路文本命名实体识别结果信息。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种铁路文本命名实体识别方法及装置。

背景技术

铁路具有技术复杂度高、运行速度快、载客量大、行车间隔小、救援难度大、安全性要求高等特点，局部故障很容易造成连锁反应和放大效应，这对铁路运营过程中突发故障的安全预警和快速处置提出了新的更高要求。

铁路安全领域实体名称结构复杂，名称缩略语众多、专业术语性强，且安全文本数据多以Word、Excel等形式存储，并以纸质形式存档，受限于传统技术限制，难以从原始数据库中高效抽取数据有效信息来挖掘蕴藏在数据中的有效信息，而提取铁路安全文本数据中蕴藏的潜在有效信息能够大幅提升铁路安全数据利用价值，进一步为铁路智能化运维提供辅助决策。

因此，如何有效的在铁路安全文本中实现命名实体识别已经成为业界亟待解决的问题。

发明内容

本发明实施例提供一种铁路文本命名实体识别方法及装置，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。

第一方面，本发明实施例提供一种铁路文本命名实体识别方法，包括：

对原始铁路文本数据进行预处理，得到预处理铁路文本数据信息；

将所述预处理铁路文本数据信息输入预设BERT模型，得到铁路文本向量信息；

将所述铁路文本向量信息输入预设BiLSTM-CRF模型，得到铁路文本命名实体识别结果信息；

其中，所述预设BERT模型是通过带实体标记的样本预处理铁路文本数据信息训练得到，所述预设BiLSTM-CRF模型是通过带实体标记和语序标记的样本铁路文本向量信息训练得到。

更具体的，将所述预处理铁路文本数据信息输入预设BERT模型，得到铁路文本向量信息的步骤之前，所述方法还包括：

获取样本预处理铁路文本数据信息，通过BIO标记对样本预处理铁路文本数据信息进行命名实体标记，并在样本预处理铁路文本数据信息的句首和句尾分别插入CLS标记和SEP标记，得到带实体标记的样本预处理铁路文本向量信息；

对所述带实体标记的样本预处理铁路文本向量信息的语序信息进行编码处理，得到带实体标记和语序标记的样本铁路文本向量信息；

根据所述带实体标记和语序标记的样本铁路文本向量信息对BERT模型进行训练，当BERT模型损失函数稳定收敛时，得到预设BERT模型。

更具体的，在所述将所述铁路文本向量信息输入预设BiLSTM-CRF模型，得到铁路文本命名实体识别结果信息的步骤之前，所述方法还包括：

获取带实体标记和语序标记的样本铁路文本向量信息，根据所述带实体标记和语序标记的样本铁路文本向量信息对BiLSTM模型进行训练，输出带语序标签的样本铁路文本上下文信息，当满足预设训练条件，得到训练好的BiLSTM模型；

根据所述带语序标签的样本铁路文本上下文信息对CRF模型进行训练，当满足第二预设训练条件，得到训练好的CRF模型，根据所述训练好的BiLSTM模型的和训练好的CRF模型得到预设BiLSTM-CRF模型。