[发明专利]基于特征重构和抽象类转移概率的小样本槽位填充方法

说明书

本发明提出了基于特征重构和抽象类转移概率的小样本槽位填充方法，属于计算机自然语言处理技术领域。本方法构建特征重构网络，利用映射矩阵将样本表示映射到新的表示空间中，从而增加样本表示的区分度。同时，本方法引入槽位标签的语义特征向量，以增强槽位标签类别表示。本发明提出了抽象类转移概率和具体类转移概率，在训练集中学习抽象类槽位标签之间的转移概率，对于测试集中新的槽位标签域，将抽象类槽位标签的转移概率具体化，获得具体类槽位标签之间的转移概率，从而捕获跨槽位标签域的槽位标签依赖关系，解决因槽位标签域不同导致的槽位标签依赖关系难以跨标签域建模的问题，提高小样本槽位填充的性能。本方法具有广阔的应用前景。

技术领域

本发明涉及一种基于特征重构和抽象类转移概率的小样本槽位填充方法，属于计算机自然语言处理技术领域。

背景技术

槽位填充是对话、问答系统和信息抽取领域的核心技术问题之一，也称为语义槽填充。槽位填充任务，是指根据槽位标签来识别文本中的槽位值。例如，对于问句“如何治疗冠心病”，识别槽位标签“疾病”对应的槽位值为“冠心病”。槽位填充技术被广泛应用于信息检索、人机交互等场景。

目前，解决槽位填充的方法主要包括四类：基于词典的方法、基于规则的方法、基于传统机器学习的方法、深度学习的方法。例如，Oguz等在《Few-shot Learning for SlotTagging with Attentive Relational Network》(European Chapter of theAssociation for Computational Linguistics，2021)中，提出了一种基于度量的学习模型即注意关系网络进行小样本槽位填充；Yuan等在《DCEN:A Decoupled Context EnhancedNetwork for Few-shot Slot Tagging》(International Joint Conference on NeuralNetworks，2021)中，提出了解耦上下文增强网络进行小样本槽位填充。该模型包括上下文注意力模块和上下文窗口模块，上下文注意力模块采用自注意力机制捕获全局解耦上下文，上下文窗口模块通过获取相邻词语的表示来捕获局部解耦上下文。

目前，针对小样本槽位填充方法，主要存在以下问题：

(1)基于标记Token级别的样本表示粒度需要更精细于意图识别任务的句子级别样本表示粒度，基于Token级别的样本表示存在易稠密、难区分的问题。

(2)在广义小样本情境下，训练集和测试集中槽位标签域不完全相同，训练集中学习的槽位标签依赖关系难以迁移到测试集中。

因此，小样本槽位填充任务面临的挑战是难以建模这种跨槽位标签域的槽位标签依赖关系。

发明内容

本发明的目的是针对现有技术存在的缺陷和不足，为了解决小样本槽位填充任务中面临的样本表示易稠密、难区分，以及难以建模跨槽位标签域的槽位标签依赖关系等技术问题，创造性地提出一种基于特征重构和抽象类转移概率的小样本槽位填充方法。

本发明的创新点在于：

第一，构建了特征重构网络，利用映射矩阵将样本表示映射到新的表示空间中，从而增加样本表示的区分度。同时，引入了槽位标签的语义特征向量，以增强槽位标签类别表示。

第二，引入了抽象类转移概率。通过训练集学习抽象类槽位标签(包括B、I、O)之间的转移概率。在测试集中对于新的槽位标签域，将抽象类槽位标签的转移概率具体化，获得具体类槽位标签之间的转移概率，从而捕获跨槽位标签域的槽位标签依赖关系，提高了小样本槽位填充性能。

为了达到上述目的，本发明采取如下技术方案实现。

基于特征重构和抽象类转移概率的小样本槽位填充方法，包括以下步骤：

步骤1：利用成对上下文编码，生成标记Token的嵌入向量。