[发明专利]基于GPT-2模型的中文电子病历实体识别方法

权利要求书

1.基于GPT-2模型的中文电子病历实体识别方法，其特征在于，利用GPT-2预训练模型提取电子病例的特征向量，再从CRF模型作为出口得到识别概率，最终得到中文电子病例的命名实体，所述方法包括如下步骤：

1)将中文电子病历的数据分为训练集和测试集两个部分，并对两个部分的数据进行统一标注，标注后的数据包含原始中文电子病历和实体标注；

1.1)设定标签的实体类别有：身体部位，症状/体征，检查/检验和疾病/诊断；

1.2)设立多个标注小组，分别对所述训练集和测试集的所有病历依据以上实体类别人工标注得到实验的训练集和测试集，标注结果第一列为实体词，第二列为该词在病历中的开始位置，第三列为该词在病历中的结束位置，最后一列为实体类别；

1.3)中文电子病历的原始数据为x＝(x₁,x₂,x₃,...,x_n)，实体标注为y＝(y₁,y₂,y₃,...,y_n)，其中，x是病历原始文本，y是与病历原始文本相对应并等长的实体类别标签，n为相对应的数据序号；

1.4)输出的标签文本为身体部位，症状/体征，检查/检验和疾病/诊断，标签符号为P，S，T，D的形式，简称PSTD标签；

2)以GPT-2预训练模型为基础，引入CRF模型，建立基于GPT2-CRF的中文电子病历实体识别模型，使用训练集数据训练，得到训练后的中文电子病历实体识别模型；

2.1)下载GPT-2预训练模型，通过GPT-2预训练模型获得文本的输入语义表示同时进行有监督训练，最后将结果输入概率最大标签序列；

2.2)定义语言模型的预测值为p(s_n-k,...,s_n|s₁,s₂,...,s_n-k-1)，其中s代表原始数据的预测结果，k代表原始数据的序号偏移值，n代表预测值在原始数据中的编号；

2.3)通过使用CRF模型方法估计得到识别概率也就是最终的有监督任务运行结果p(output|input)，然后对任务p(output|input)建模，其中output是指模型输出，input是指模型输入；

2.4)一般来说，对于同类型的NLP自然语言识别任务的input和output，用向量表示，同时对于本文描述的任务，同样使用input和output来表示；

2.5)根据上述步骤得到带有明确的概率值的预测结论，从而证实以这种数据形式可以有监督的训练一个单一模型；

2.6)从上述步骤得到训练后的中文电子病历实体识别模型；

3)将测试集数据输入中文电子病历实体识别模型中，通过评估分数得到实体识别的最优标注序列；

3.1)将测试集数据输入上述步骤得到的实体识别模型中后，需要进一步通过评估分数公式得到最优序列；

3.2)给定序列x＝(x₁,x₂,x₃,...,x_n)和对应的标签序列y＝(y₁,y₂,y₃,...,y_n)，定义评估分数为以下公式：

其中W是转换矩阵，W_i,j是标签转移分数，P_i,yi表示该字符的第y_i个标签的分数，P_i定义为：

P_i＝w_sh^(t)+b_s

其中h^(t)是上一层t时刻输入数据x^(t)的隐藏状态，参数w_s表示权值矩阵，b_s表示增量参数；

对CRF的训练采用的是最大条件似然估计，对训练集合{(x_i,y_i)}，其中似然公式为：

其中P表示序列原序列到预测序列对应的概率为：

其中λ代表给定的概率分布，θ表示分布参数；

采用实体识别的通用评价指标：精确率P、召回率R和F值：

其中，T_p为模型正确识别的实体个数，F_p为模型识别到的不相关的实体格个数，F_n是相关实体但是模型没有检测到的个数；

3.3)最终得到中文电子病例的命名实体。