[发明专利]基于度量的元学习框架下的少次文本分类方法

说明书

本发明公开了基于度量的元学习框架下的少次文本分类方法，在输入层，输入支持实例和查询实例；在词嵌入层，通过查找预先训练的词嵌入表，将离散词映射到向量空间中；在上下文编码器层，通过考虑上下文来优化支持实例和查询实例的句子中每个单词的局部表示；在双向注意力层，首先将查询实例与每个支持实例耦合，然后在它们之间生成匹配信息；在模型层，为查询实例和支持实例生成特征向量，给定查询的实例级注意力模块计算支持实例的权重以动态生成原型；在输出层，通过测量查询和原型之间的相似性得分来为查询实例提供预测。本发明方法提出了一种使用双向注意力机制和跨类知识的少次文本分类框架，使得少次文本分类方法更加有效。

技术领域

本发明属于人工智能中的自然语言处理技术领域，涉及基于度量的元学习框架下的少次文本分类方法。

背景技术

文本分类是自然语言处理中的一项关键任务，它服务于一系列下游应用程序，例如信息检索和意见挖掘。该任务定义为从候选类集中为给定的未标记文本选择适当的标签。深度学习的最新发展引起了人们对通过神经网络进行监督的文本分类模型的兴趣。实际上，这些方法需要大量带标签的训练数据。然而，获取这样的高质量数据是劳动密集型的，并且手工标记过程是耗时的。

为了缓解这一问题，提出了“少次学习”(FSL)来训练新类别的分类器，这些分类器仅需要几个标记示例。在计算机视觉中，对少次学习FSL进行了广泛的研究，元学习已成为一种有前途的方法，可以在资源匮乏的情况下快速推广到新概念。特别地，基于度量的方法通过学习类之间的距离分布来执行分类。作为一个代表性模型，原型网络为每个候选类生成一个原型向量，并根据查询和每个原型的向量表示之间的距离对查询进行分类。

在少次文本分类中，仅给定几条带有已知类标签的文本(即支持实例)，需要一个模型来对新传入的一段文本(即查询实例)进行分类，由此，需要提出基于度量的元学习框架下的少次文本分类方法来解决该应用问题。

先前的研究表明，基于度量的学习为自然语言处理中的某些少次学习任务提供了优雅的解决方案。但是，在少次分类中，我们观察到了需要进一步改进的余量。首先，没有很好地探讨查询和支持实例之间的相互依赖性。在大多数基于度量的模型中，查询和支持实例是单独编码的，然后根据它们之间的相似性得出度量。但是，同一类别中的文本倾向于包含具有相似含义的单词。查询和支持实例中的相似部分是识别类别的有效线索，应通过对其交互进行建模来相互强调。

此外，以前的模型分别考虑不同的类别，因此很可能会忽略跨类别的信息。基于度量的模型的性能很大程度上取决于嵌入空间中句子的空间分布。如果同一类中所有支持实例的嵌入彼此相距较远，则很难捕获它们的共同特征并生成具有代表性的原型。并且如果不同类的支持实例在嵌入空间中彼此接近，则生成的原型是无法区分的。尽管如此，有关少次文本分类的现有研究很大程度上忽略了这种跨类别的知识。

发明内容

有鉴于此，本发明的目的在于提出基于度量的元学习框架下的少次文本分类方法，所述方法提出了一种使用双向注意力机制和跨类知识的少次文本分类框架，首先，与之前的工作将查询和支持实例独立地汇总到单个特征向量中的工作不同，所述方法计算每个单词的双向注意力(即从支持到查询注意力以及从查询到支持注意力)以了解查询和支持实例之间的交互作用，这样可以获得查询的支持感知向量表示和支持实例的查询感知向量表示；其次，通过添加Large Margin损失来监督距离分布，从而利用类之间的隐含知识，同一类内的实例应在嵌入空间中相邻放置，而不同类的实例最好彼此远离，因此采用LargeMargin损失来缩短属于同一类别的支持实例之间的距离，并增大不同类别之间的支持距离。

基于上述目的，基于度量的元学习框架下的少次文本分类方法，包括以下步骤：

步骤1，在输入层，输入支持实例和查询实例；

步骤2，在词嵌入层，通过查找预先训练的词嵌入表，将支持实例和查询实例的离散单词映射到向量空间中；