[发明专利]小样本关系抽取模型的训练、实体关系抽取方法及装置

说明书

本发明涉及人工智能，公开了一种小样本关系抽取模型的训练、实体关系抽取方法及装置，其中装置包括：参数初始化模块用于根据类名信息初始化与类相关的参数；参数快速适应模块用于使用支持集，对初始化参数进行适应，得到适应好的模型参数；实例编码模块用于对任务中的实例进行编码，并根据预设的任务过滤策略，对每个任务中编码后的实例进行计算，以筛选出匹配的实例，并根据匹配的实例分别生成查询集和支持集；将支持集输入至参数快速适应模块，以及将查询集输入至元优化模块；元优化模块，用于根据输入的查询集在适应后的模型上的性能，对元参数进行更新。本发明提高了小样本关系抽取模型的精度，提升了模型参数适应效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及小样本关系抽取模型的训练、实体关系抽取方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

关系抽取是自然语言处理领域的重要任务，旨在根据两个给定实体的相关上下文对它们之间的语义关系进行分类。然而，小样本关系抽取任务仍然面临着以下问题：关系抽取任务中的数据为文本数据，如何提升小样本学习算法应用到关系抽取领域的性能，是目前该领域的研发热点之一。

现有技术中，小样本学习算法例如可采用模型无关的元学习算法(Model-Agnostic Meta-Learning，MAML)框架实现，学习如何进行参数的初始化和在有限实例下进行参数的快速适应。

MAML是非常经典的基于优化的元学习算法。完整的MAML算法的流程图可如图1所示，MAML可以考虑为一个由参数θ参数化的函数f_θ表示的模型，其中，任务分布为P(T)，当适应新任务T_i时，模型的参数θ使用任务T_i上的一个或多个梯度下降来计算更新的参数矢量θ_i'，通过优化从P(T)采样的任务相对于θ的的性能来训练模型参数。

MAML算法需要大量的类似的任务来进行元训练，这是代价非常高的；反向传播导致MAML算法训练过程存在梯度不稳定的问题；由于每个任务通常是由浅层神经网络进行建模，如果使用更深，更强大的体系结构就会出现过拟合的问题。MAML算法基于统计信息进行模型参数的适应，即对于参数适应而言，每个实例共享相同的学习率，参数适应效率低，算法精度较低。

发明内容

本发明实施例提供一种小样本关系抽取模型的训练装置，包括：

参数初始化模块，用于根据类名信息初始化与类相关的参数θ⁰；

参数快速适应模块，用于使用实例编码模块输出的支持集，对参数初始化模块输出的初始化参数θ⁰进行适应，得到适应好的模型参数θ^T；

实例编码模块，用于对任务中的实例进行编码，得到对应的向量数据，并根据预设的任务过滤策略，对每个任务中编码后的实例进行计算，以筛选出匹配的实例，并根据匹配的实例分别生成查询集和支持集；将所述支持集输入至参数快速适应模块，以及将所述查询集输入至元优化模块；

元优化模块，用于根据输入的所述查询集在适应后的模型上的性能，对元参数进行更新。

在一个实施例中，所述实例为文本数据；

实例编码模块，具体用于计算编码后的实例之间的文本匹配度值，根据计算出的文本匹配度值，确定匹配的实例。

在一个实施例中，所述参数快速适应模块，具体用于根据输入的支持集，通过梯度下降的方式自适应初始化参数θ⁰，直至分类损失达到预设的条件。

在一个实施例中，所述参数快速适应模块包括全连接层、softmax层和学习率计算器；