[发明专利]一种用于互联网文本数据的实体关系联合抽取方法、装置

权利要求书

1.一种用于互联网文本数据的实体关系联合抽取方法，其特征在于，包括以下步骤：

步骤1：构建实体关系联合抽取模型，所述实体关系联合抽取模型包括数据预处理层、向量表示层、分类器层；

将从互联网信息中提取的互联网文本数据输入实体关系联合抽取模型的数据预处理层，提取互联网文本数据中的词构成词序列，枚举文本数据中所有可能的词组合作为候选实体，构成候选实体序列；

分别将词序列和候选实体序列输入向量表示层进行处理，得到词序列和候选实体序列的表示向量；

将词序列和候选实体序列的表示向量输入分类器层的实体分类器，得到实体；将实体组合得到实体对，将词序列和实体对的表示向量输入关系分类器，得到实体间关系；

步骤2：训练实体关系联合抽取模型，优化模型参数，得到训练好的实体关系联合抽取模型；

步骤3：将互联网文本数据输入训练好的实体关系联合抽取模型，输出实体和实体间关系，得到三元组头实体，关系，尾实体；

在步骤1中，在实体关系联合抽取模型的数据预处理层中，对互联网文本数据进行预处理，将文本数据以词为单位进行分解，获得词序列，表示为{w₁,w₂,…,w_m}；

枚举获得的词序列中所有跨度小于span的词组合，作为候选实体，构成候选实体序列，{e₁,e₂,…,e_n}，其中，span为设定的预设的阈值，表示一个候选实体最多包含词的数量；

在步骤1中，将实体关系联合抽取模型的向量表示层设为预训练语言模型，所述预训练语言模型包括输入处理层和增加实体感知自注意力的transformer层，

在输入处理层中，对于通过数据预处理层获得的词序列，通过查找输入处理层中的词向量表，得到词对应的表示向量，获取词在文本数据的句子中的位置作为位置向量，将通过词向量表得到词对应的表示向量叠加位置向量得到文本数据中词的表示向量，输入处理层输出的词序列的表示向量为

对于通过数据预处理层获得的候选实体序列，通过查找输入处理层中的实体向量表，取得候选实体的表示向量，取候选实体的头尾词对应的位置向量的平均值作为位置向量，设置实体类型向量为1，三个向量叠加得到输入处理层输出的候选实体序列的表示向量

将词序列的表示向量和候选实体序列的表示向量链接在一起作为增加实体感知自注意力的transformer层的输入，并分别为词序列和候选实体序列增加输入序列的分隔符，表示为：

其中x_[cls]和x_[sep]分别为词序列和候选实体序列的分隔符；

将链接在一起的词序列和候选实体序列的表示向量输入增加实体感知自注意力的transformer层，得到每项输入对应的输出向量，输出向量序列表示为

增加实体感知自注意力的transformer层的输出通过如下计算：

α_ij＝softmax(e_ij)，

其中，h_i为输出向量序列中的第i个输出向量，x_i为在输入预训练语言模型的向量序列中与h_i对应的表示向量，x_j表示输入预训练语言模型的向量序列中x_i以外的表示向量；Q、K、V属于注意力机制的基础参数，分别为查询矩阵query、键矩阵key和值矩阵value，m、n分别为词序列和候选实体序列的长度，α_ij为注意力权重，表示每个输入对其他输入的影响程度，e_ij为注意力分数，Q_w2w为输入的x_i和x_j分别为词时的查询矩阵query，Q_e2e为输入的x_i和x_j分别为实体时的查询矩阵query，Q_w2e为输入的x_i为词和x_j为实体时的查询矩阵query，Q_e2w为输入的x_i为实体和x_j为词时的查询矩阵query。