[发明专利]基于注意力机制和语言模型学习的中文命名实体识别方法

摘要

本发明公开了一种基于注意力机制和语言模型学习的中文命名实体识别方法，该方法包括构建基于字的字典，对每个元素对应的ID号进行向量转换，通过restricted Self‑attention层进行组合，通过第一层Bi‑LSTM进行拼接组合并训练语言模型，通过第二层Bi‑LSTM进行拼接组合并采用条件随机场方法进行标签预测训练，将数据集进行随机排列并采用Adam优化方法进行多轮训练，利用神经网络对待识别的文本数据进行中文命名实体识别。本发明只基于字的特征，不需要进行分词和其他的词性、句法等人工特征，提高了方法的健壮性和鲁棒性；而且本发明对未登录词表现良好，且性能优良，可以很好的提高下游任务的性能。

主权项

1.一种基于注意力机制和语言模型学习的中文命名实体识别方法，其特征在于，包括以下步骤：A、获取已标注标签的中文命名实体识别的数据集，构建基于字的字典；B、对步骤A构建的基于字的字典中每个元素对应的ID号进行向量转换处理；C、将步骤B转换后的字向量通过restricted Self‑attention层进行组合，获取每个中心字在附近窗口范围内与其他字向量的加权组合的字向量，挖掘中心字在附近窗口范围内的潜在的词信息；D、将步骤C获取的字向量通过第一层Bi‑LSTM进行处理，得到两个方向的每个时间步的隐藏层输出，将得到的输出进行拼接组合，并利用每个时间步的隐藏层输出训练语言模型；E、将步骤D得到的拼接结果通过第二层Bi‑LSTM进行处理，得到二次拼接组合的输出，并采用条件随机场方法进行标签预测训练；F、将已标注标签的中文命名实体识别的数据集进行随机排列处理，并采用Adam优化方法循环步骤A‑E对神经网络进行多轮训练；G、利用神经网络对待识别的文本数据进行处理，完成中文命名实体识别。