[发明专利]一种基于分布校准的小样本实体关系抽取方法

说明书

本发明公开了一种基于分布校准的小样本实体关系抽取方法，其假设特征向量中的每个维度都遵循高斯分布，并观察到相似类通常具有相似的特征表示均值和方差。因此，高斯分布的平均值和方差可以在类似的类别之间传递。同时，当有足够的样本时，可以更准确地估计统计数据。因此，重用来自多个类的分布统计量，并根据它们的类相似性可以更好地校准少数类的分布统计量，根据校准后的分布统计量可以生成更多的样本。本发明的有益效果：使提取的特征更丰富；可以减少分散偏度，能够让特征向量分布更接近高斯分布；大大减少了由于数据过少引起的过拟合问题，通过数据增强实现了关系抽取准确度的提高；能够极大地提高模型的泛化能力。

【技术领域】

本发明涉及自然语言处理技术领域，尤其涉及一种基于分布校准的小样本实体关系抽取方法。

【背景技术】

信息抽取是自然语言处理中的重要组成部分，特别是在当今信息化的社会中，从海量数据中提取出有用的信息显得格外重要。关系抽取是信息抽取中的一项重要任务，其目的是根据两个给定实体之间的相关上下文对它们之间的关系进行分类。由于关系抽取能够提取文本信息，并使许多NLP应用(如信息检索、对话框生成和问答)受益，因此吸引了许多研究人员。

传统的监督模型在这项任务中得到了广泛的探索，但是，它们的性能在很大程度上取决于训练数据的规模和质量。在实践中，高质量数据的手动标记既耗时又耗费人力，这意味着这些受监督的模型通常数据稀少，因此很难很好地推广。

目前对于小样本实体关系抽取任务的做法主要分为以下几种：

1.基于迁移学习的方法

迀移学习(TransferLearning)旨在研究如何利用以前学到的知识来帮助更快速地解决新问题。对预训练网络的权重进行微调(Fine-tune)是主要的迀移学习方法之一。迀移学习从源任务中学习知识并将该知识应用于目标任务。

虽然迀移学习通常用于多任务学习或强化学习领域，但相关样本类别的知识迀移是小样本学习的关键方法。使用基于迀移学习的小样本学习方法时，需要注意：

(1)使用的预训练网络必须满足目标任务的模型架构约束；

(2)微调时，训练过程并不是从头开始，需要正确选择对网络中哪些层进行微调，通常为网络的高级部分；

(3)选择适当的学习策略。

2.基于元学习的方法

对于人类而言，仅需要少量图像甚至不需要图像，根据对物体的描述就能利用以往的经验知识实现对物体的识别，这是因为人类会利用自己的先验知识进行学习。元学习(Meta Learning)就是这类快速学习方法之一。

记忆增强神经网络(MANN)是一种基于神经图灵机的元学习模型，使用LSTM或前馈神经网络作为控制器。此外，Santoro等人给出了元学习任务的定义。对于元学习任务而言，选择参数来降低数据集D的分布中的预期学习成本。

基于LSTM的元学习模型(Meta-LSTM)旨在学习用于训练小样本学习中的另一个学习器的优化算法。Meta-LSTM利用LSTM来学习模型的初始化方式，并更新方向和学习率。

元学习网络(Meta Network)是一种元学习算法，在传统分类模型的最顶层使用更高层级的元学习器，以此来监督训练过程。整体框架包括三个过程：元信息的获取，快权重的生成和慢权重的优化。上述过程由基学习器和元学习器共同执行。快权重由元学习器产生，而慢权重则仅通过最小化分类损失来更新。在仅使用非常少量的训练样本的情况下，快权重被用来帮助模型泛化至新任务。