[发明专利]基于预训练语言模型的电子病历文本命名实体识别方法

权利要求书

1.一种基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，包括以下步骤：

步骤1，从公开的数据集收集电子病历文本作为原始文本，对所述原始文本进行数据预处理；

步骤2，基于规范的医疗术语集对步骤1中经数据预处理的所述原始文本进行实体标注，得到标注文本；

步骤3，将所述标注文本输入预训练语言模型中，得到字向量表示的训练文本；

步骤4，构建BiLSTM-CRF序列标注模型，对所述训练文本进行训练，得到训练的标注模型；

步骤5，以所述训练的标注模型作为实体识别模型，输入测试文本即可输出标注的类别标签序列。

2.根据权利要求1所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤1中，统计数据集中所有所述原始文本中的字，去除停用字、无用符号，并生成字典文件。

3.根据权利要求1或2所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤2中，基于SNOMED CT医疗术语集并采用BIO标注模式标注出步骤1中经数据预处理的所述原始文本中出现的疾病和诊断、检查、检验、手术、药物、解剖部位六个实体。

4.根据权利要求3所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤3中，采用ERNIE预训练语言模型。

5.根据权利要求4所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤3中，采用半监督的并行方式对ERNIE预训练语言模型进行训练。

6.根据权利要求5所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤4中，所述BiLSTM-CRF序列标注模型包括look-up层、双向LSTM层和CRF层。

7.根据权利要求6所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤4中，以所述训练文本的字向量输入至所述BiLSTM-CRF序列标注模型中并迭代训练。

8.根据权利要求7所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤4中，通过构建损失函数计算损失值以确定迭代训练次数，直至所述损失值小于设定阈值。

9.根据权利要求8所述的基于预训练语言模型的电子病历文本命名实体识别方法，其特征在于，步骤4中，将所述训练文本的类别标签序列和带标签数据输入至所述损失函数中以计算所述损失值。