[发明专利]中文命名实体识别模块、方法、装置及电子设备

权利要求书

1.一种中文命名实体识别模型，其特征在于，包括：

ALBERT层，用于获取样本预处理文本数据信息，根据样本预处理文本数据信息得到字向量标记序列；

BiLSTM层，其与所述ALBERT层连接，用于根据所述字向量标记序列得到样本的上下文特征信息，并学习上下文特征信息得到特征权重；

自注意力层，其与所述BiLSTM层连接，用于接收所述BiLSTM层输出的特征权重，明确学习句子中任意两个字符之间的依赖关系，寻找序列内部联系，并输出得分序列；

CRF层，其与所述自注意力层连接，用于接收所述自注意力层输出的得分序列，利用状态转移矩阵和相邻信息，并进行标签解码获得一个全局优序列。

2.如权利要求1所述的一种中文命名实体识别模型，其特征在于，所述中文命名实体识别模型进一步包括：

标记模块，用于对所述样本预处理文本数据信息进行命名实体标记，并在样本预处理文本数据信息的句首和句尾分别插入CLS标记和SEP标记，得到带实体标记的样本预处理文本向量信息；

处理模块，其与所述标记模块连接，对带实体标记的所述样本预处理文本向量信息的语序信息进行编码处理，得到带实体标记和语序标记的样本向量信息；

训练模块，其与所述处理模块连接，根据所述带实体标记和语序标记的样本向量数据信息对ALBERT模型进行训练，当ALBERT模型损失函数稳定收敛时，得到ALBERT预训练模型，所述ALBERT预训练模型用于根据样本预处理文本数据信息得到字向量标记序列。

3.如权利要求1所述的一种中文命名实体识别模型，其特征在于，所述BiLSTM层具体用于：接收所述字向量标记序列中各个字的字向量，根据所述中各个字的字向量提取全局特征；

所述BiLSTM层包括BiLSTM网络，所述BiLSTM网络用于得到正向LSTM的隐含输出序列及反向LSTM的隐含输出序列，并将两组隐含序列按位置拼接获得完整的隐含序列，输出带语序标签的样本的上下文特征信息，得到训练好的BiLSTM模型，所述BiLSTM模型用于学习上下文特征信息得到特征权重。

4.如权利要求1所述的一种中文命名实体识别模型，其特征在于，所述自注意力层包括多头注意力机制，多头注意力机制的每个头用于分别独立计算注意力矩阵，将每个头的计算结果拼接，用于多维度捕捉样本的上下文特征信息。

5.一种中文命名实体识别方法，其特征在于，所述方法具体包括：

S101，通过ALBERT层获取样本预处理文本数据信息，根据样本预处理文本数据信息得到字向量标记序列；

S102，通过BiLSTM层根据所述字向量标记序列得到样本的上下文特征信息，并学习上下文特征信息得到特征权重；

S103，通过自注意力层接收所述BiLSTM层输出的特征权重，明确学习句子中任意两个字符之间的依赖关系，寻找序列内部联系，并输出得分序列；

S104，通过CRF层接收所述自注意力层输出的得分序列，利用状态转移矩阵和相邻信息，并进行标签解码获得一个全局优序列。

6.如权利要求5所述的一种中文命名实体识别方法，其特征在于，所述S101中的ALBERT预训练模型具体包括：

S1011，获取样本预处理文本数据信息，通过BIOE标记对样本预处理文本数据信息进行命名实体标记，并在样本预处理文本数据信息的句首和句尾分别插入CLS标记和SEP标记，得到带实体标记的样本预处理文本向量信息；

S1012，对带实体标记的所述样本预处理文本向量信息的语序信息进行编码处理，得到带实体标记和语序标记的样本向量信息；

S1013，根据所述带实体标记和语序标记的样本向量数据信息对ALBERT模型进行训练，当ALBERT模型损失函数稳定收敛时，得到ALBERT预训练模型，所述ALBERT预训练模型用于根据样本预处理文本数据信息得到字向量标记序列。