[发明专利]一种基于字结构的中文医疗记录的命名实体识别方法

权利要求书

1.一种基于字结构的迭代膨胀卷积神经网络-条件随机场的中文医疗记录的命名实体识别方法，其特征在于，包括以下步骤：

1)将中文医疗记录数据作为训练数据集，并对训练数据集进行实体标注，标注后的训练数据集包括询问序列和实体标注序列；构建基于字结构的迭代膨胀卷积神经网络-条件随机场网络结构，所述网络结构包括卷积神经网络层、嵌入层、迭代膨胀卷积神经网络层和线性链条件随机场层；

2)针对训练数据集中的一组询问序列，将询问序列中的每一个汉字映射到位图矩阵，将位图矩阵分别输入到卷积神经网络层和嵌入层，通过卷积神经网络从询问序列中的汉字对应的位图矩阵中提取出字级别的特征向量，使用字嵌入提取询问序列中每一个汉字的字嵌入向量；将得到的字级别的特征向量和字嵌入向量按位相加，得到询问序列中每一个汉字的最终特征向量，构成询问序列的最终特征向量集；所述步骤2)具体为：

针对训练数据集中的一组询问序列{w₁,w₂,…,w_n}和实体标注序列{l₁,l₂,…,l_n}，其中w_i表示询问序列中的第i个汉字，l_i表示询问序列中的第i个汉字的实体标注，l_i来自O、B-DIS、I-DIS、E-DIS标注，O表示非命名实体，B-DIS表示疾病实体的开始，I-DIS表示在疾病实体中，E-DIS表示疾病实体的结束，命名实体包括疾病实体，定义所有标注构成的集合G＝{g₁,g₂,…,g_p}，其中p为所有标签的数量，实体标注序列{l₁,l₂,…,l_n}中的元素均属于G；

将询问序列中的每一个汉字w_i映射到一个m×m的位图矩阵M_i，其中m表示像素，n表示询问序列中汉字的个数；通过卷积神经网络从询问序列中的汉字w_i对应的位图矩阵M_i中提取出字级别的特征向量e_i，使用字嵌入提取询问序列中每一个汉字w_i的字嵌入向量b_i；将卷积神经网络输出的字级别的特征向量e_i和字嵌入提取到的字嵌入向量b_i按位相加，得到每一个汉字w_i对应的最终特征向量v_i，构成最终特征向量集V＝(v₁,v₂,…,v_n)；

3)将询问序列的最终特征向量集输入迭代膨胀卷积神经网络层中，在迭代膨胀卷积神经网络中引入注意力机制，得到实体标注序列中每一个标注的分数向量，构成分数序列；所述步骤3)具体为：

将步骤2)得到的最终特征向量集V输入迭代膨胀卷积神经网络中，迭代膨胀卷积神经网络由参数相同的多个膨胀卷积块构成，每个膨胀卷积块包含多层膨胀系数逐渐增大的膨胀卷积层，一次迭代是指将输入传入膨胀卷积块得到输出，再将输出作为下一个膨胀卷积块的输入，迭代多次，将每次迭代的输出综合，得到标注g_i对应的n维分数向量t_i，其中t_i[j]表示汉字w_j对应标注g_i的分数，

t_i＝IDCNN(v₁,v₂,…,v_n),i＝1,2,…,p

针对t_i，采用注意力机制得到其对应的n×1的分数向量f_i，

f_i＝Attention(t_i),i＝1,2,…,p

进一步得到实体标注序列中每一个标注的分数向量，构成分数序列{f₁,f₂,…,f_p}；

4)将步骤3)得到的分数序列输入到线性链条件随机场层中，通过线性链条件随机场模型输出预测标注结果，计算输出的预测标注结果和给定实体标注序列的损失，使用Adam算法优化模型，得到基于字结构的迭代膨胀卷积神经网络-条件随机场模型；所述步骤4)具体为：

采用线性链条件随机场模型，将步骤3)得到的分数序列{f₁,f₂,…,f_p}输入到线性链条件随机场层中，输出预测标注结果；

定义一个p×p的概率转移矩阵A，根据如下公式计算训练数据集中给定的实体标注序列{l₁,l₂,…,l_n}的分数：

其中A[l_i-1,l_i]表示从标注l_i-1到标注l_i的概率转移，f_i[l_i]表示分数向量f_i中标注l_i的分数；

定义k为给定询问序列中所有可能的预测标注结果，根据如下公式利用softmax计算出对数似然：

将对数似然的值取负作为训练的损失，使用Adam算法来优化模型，得到基于字结构的迭代膨胀卷积神经网络-条件随机场模型；

5)将待测的询问序列输入到步骤4)所述的基于字结构的迭代膨胀卷积神经网络-条件随机场模型中，输出命名实体识别的结果。