[发明专利]一种基于预训练语言模型的科技资源关系抽取方法及装置

权利要求书

1.一种基于预训练语言模型的科技资源关系抽取方法，其特征在于包括如下步骤：

步骤S1、将待关系分类的科技资源语句，输入到基于预训练语言模型训练好的科技资源关系抽取模型中；

步骤S2、所述科技资源关系抽取模型输出的结果为所述科技资源语句中两个实体之间的关系类别。

2.如权利要求1所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于：

所述科技资源关系抽取模型通过如下步骤得到；

步骤S11、构建科技资源数据集，其中，所述科技资源数据集包括多个关系类别，每个所述关系类别包括多个符合条件的语句；

步骤S12、通过C-Way K-shot算法从所述科技资源数据集中采样得到支持集和查询集；

步骤S13、将所述支持集中的语句逐个输入到预训练语言模型中，得到各个关系类别中的语句映射到低维嵌入空间中的向量表示序列，并根据该向量表示序列，计算出各个关系类别的原型中心；

步骤S14、将所述查询集中的语句逐个输入到所述预训练语言模型中，得到其映射到低维嵌入空间中的向量表示后，计算每个语句对应的预训练语言模型的损失函数值，并根据损失函数值更新预训练语言模型的参数；

步骤S15、循环执行步骤S12～S14,直到达到终止训练条件时，结束训练并得到所述科技资源关系抽取模型。

3.如权利要求2所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于：

每个所述关系类别中的符合条件的语句为根据由论文的关键词和输入法的领域词库组成的实体词集合和关系匹配模板，标注实体对以及实体对之间的关系的语句。

4.如权利要求2所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于：

各个关系类别的原型中心为相应关系类别的向量表示序列的向量表示平均值。

5.如权利要求2所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于步骤S14中，

将所述查询集中每个关系类别的语句逐个输入到所述预训练语言模型中，得到每个语句在所述支持集各个关系类别所在的低维嵌入空间中的向量表示。

6.如权利要求2所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于步骤S14中，

根据如下预训练语言模型的损失函数表达式，计算所述查询集中每个所述语句对应的所述预训练语言模型的损失函数值；

上式中，m⁺和m^-表示边距参数，γ表示缩放因子，表示在查询集的一个语句实体关系属于支持集各个关系类别的概率中，该语句所属的正确关系类别对应的概率；表示在查询集的一个语句实体关系属于支持集各个关系类别的概率中，除了该语句实际所属的正确关系分类对应的概率之外的最高概率；β表示正则因子，θ表示所述预训练语言模型的参数集合。

7.如权利要求6所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于：

根据如下SoftMax函数的公式表达式，计算所述查询集的一个语句实体关系属于所述支持集各个关系类别的概率；

上式中，θ表示所述预训练语言模型的参数集合，c_k表示所述支持集中当前关系类别的原型中心，表示所述查询集中某个语句输入到所述预训练语言模型后得到的在低维嵌入空间中的向量表示，d表示所述当前关系类别的原型中心与某个语句在低维嵌入空间中的向量表示之间的欧氏距离。

8.如权利要求2所述的基于预训练语言模型的科技资源关系抽取方法，其特征在于步骤S15中，

终止训练条件为每一轮训练得到的所述查询集各个语句对应的所述预训练语言模型的损失函数值降幅小，使得所述损失数达到收敛。

9.一种基于预训练语言模型的科技资源关系抽取装置，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序或指令，用于执行以下操作：

将待关系分类的科技资源语句，输入到基于预训练语言模型训练好的科技资源关系抽取模型中；

所述科技资源关系抽取模型输出的结果为所述科技资源语句中两个实体之间的关系类别。