[发明专利]一种基于深度神经网络的信息抽取方法

权利要求书

1.一种基于深度神经网络的信息抽取方法，其特征在于，包括无监督域内继续预训练和基于批量过采样的有监督训练；

所述信息为中医临床四诊信息；

所述方法包括以下步骤：

S1:对开放域预训练语言模型BERT的掩码语言模型(Masked Language Model,MLM)进行无监督域内继续预训练；

S2:将S1中域内继续预训练之后的BERT模型与BiLSTM-CRF模型组合成BERT-BiLSTM-CRF模型；

S3：对BERT-BiLSTM-CRF模型进行有监督训练；

所述批量过采样处理流程包括批处理策略、按比例P随机移除、随机选取、插入；

所述批量过采样处理流程的具体步骤为：

a)批处理策略：首先，将训练数据集D中所有的数据样本(x_i,y_i)按洗牌算法随机排列到列表中。然后，使用批量大小为M的滑动窗口去将列表划分为批量集合B，批量集合B中的批量B_k的数量批量B_k的大小为M，即：一个批量B_k中包含M个数据样本(x_i,y_i)；

b)按比例P随机移除：针对步骤a)中生成的每一个批量B_k，按批量过采样比例P随机从B_k中移除个数据样本(x_i,y_i)；

c)随机选取：从少数类样本信息数据集W中有放回地随机选取个数据样本，与步骤b)中在每个批量B_k中随机移除的数据样本数量相等；

d)插入：针对步骤b)中处理后的每一个批量B_k，将步骤c)中生成的个数据样本插入批量B_k中，形成批量过采样后的批量B'_k，其中，批量集合B'中批量B'_k的数量N'与批量集合B中批量B_k的数量N相等，即：所述步骤S2中BERT-BiLSTM-CRF模型，输入层将训练数据按字粒度进行分词，然后输入BERT层进行特征提取，BERT模型对输入的序列进行多种不同的线性变换，得到多个不同的Attention结果，并通过多头注意力机制将不同线性变换得到的Attention结果拼接起来，得到每个词在不同空间下的位置信息，从而给BERT层输出的词向量注入丰富的上下文语境信息；BiLSTM层的前向过程和后向过程的LSTM单元可以舍弃当前时刻输入词向量的无用信息，并将当前时刻输入词向量的有用信息传递给下一时刻的LSTM单元，然后，将双向过程中每个时刻对应的输出拼接，得到包含长距离上下文信息的词向量；CRF模型利用邻近标签之间的依赖关系对BiLSTM层输出的所有词向量进行解码，从而得到最优的预测序列；

所述步骤c)中所述的少数类样本信息数据集W为闻诊信息数据集，由训练数据集D中所有包含闻诊信息的数据样本构成。

2.根据权利要求1所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述S3中通过小批量梯度下降方法对BERT-BiLSTM-CRF模型进行有监督训练。

3.根据权利要求2所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述S3中对BERT-BiLSTM-CRF模型进行有监督训练的数据集是经过批量过采样处理的标注数据。

4.根据权利要求1所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述步骤c)针对步骤b)中处理后的的每一个批量B_k都会重新执行一次。

5.根据权利要求4所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述批量大小M，批量过采样比例P都为模型训练过程中的超参。

6.根据权利要求4所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述批量过采样流程在训练模型的过程中会多次执行，执行次数与模型训练过程中的超参Epochs相等。

7.根据权利要求1所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述步骤S2中BERT-BiLSTM-CRF模型组合的方法为，将无监督域内继续预训练后的BERT模型与BiLSTM模型相组合，用于输入序列的特征提取，并在其末尾组合一个用于抽取信息的CRF模型。