[发明专利]一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置

摘要

本发明提供了一种基于Bi‑LSTM‑CRF模型的命名实体识别方法和装置，对自然语言进行数据预处理，在训练情况下，将输入的第一自然语言进行分隔，获得第一字符序列；根据所述第一字符序列中的各个字符做映射，获得向量矩阵，将所述向量矩阵输入Bi‑LSTM模块；将Bi‑LSTM模块的所述发射矩阵输入CRF层形成Bi‑LSTM‑CRF模型，所述Bi‑LSTM‑CRF模型对所述自然语言进行整句实体识别；其中，根据交叉检验确定所述Bi‑LSTM‑CRF模块的超参数。解决现有技术中的模型无法考虑长远的上下文信息，无法对这些依赖关系进行建模，从而使得识别的准确率受到限制的技术问题，达到了直接将原始语句输入模型就可以提取出语句中的命名实体，适应性强，适用面广，提高对实体识别的准确率的技术效果。

主权项

1.一种基于Bi‑LSTM‑CRF模型的命名实体识别方法，其特征在于，所述方法包括：对自然语言进行数据预处理，在训练情况下，将输入的第一自然语言进行分隔，获得第一字符序列；在预测情况下，将输入的第二自然语言进行分隔，获得第二字符序列，根据比对所述第二字符序列与所述第一字符序列，将所述第二字符序列中不存在于所述第一字符序列的字符归为未登录字符；根据所述第一字符序列中的各个字符做映射，获得向量矩阵，其中，所述向量矩阵包括所述各个字符对应的维度固定的向量；将所述向量矩阵输入Bi‑LSTM模块，分别对所述Bi‑LSTM模块里的前向LSTM模块和后向LSTM模块进行从前向后、从后向前的向量序列非线性变换，且结合所述前向LSTM模块和后向LSTM模块的输出结果，其中所述输出结果为发射矩阵；将Bi‑LSTM模块的所述发射矩阵输入CRF层形成Bi‑LSTM‑CRF模型，所述Bi‑LSTM‑CRF模型对所述自然语言进行整句实体识别；其中，根据交叉检验确定所述Bi‑LSTM‑CRF模块的超参数。