[发明专利]基于标签扩展的零样本文本分类方法

说明书

本发明公开了基于标签扩展的零样本文本分类方法，该方法包括以下两个步骤：步骤一：扩展标签；对数据集的假设标签信息通过专家知识，大型的知识库以及与预训练的语言模型扩充丰富其语义知识。步骤二：零样本文本分类；BERT是基于注意力的双向语言模型，将标识作为输入，BERT通过多层的Transformer编码器获取标识嵌入。将BERT在大型的文本蕴含数据集上进行预训练。对BERT模型进行微调和预训练完成之后，对可见类别的实例S进行训练。照BERT的输入标识规则输入BERT中，BERT提取两句话的特征，最后将特征通过线性层输出两句话蕴含和矛盾的概率。训练完成之后，任意输入测试集的两句话进行蕴含测试。使得标签和文本之间蕴含更多的语义信息来提高泛化的零样本文本分类性能。

技术领域

本发明涉及一种基于标签扩展的零样本文本分类方法，尤其是用于自然语言处理技术领域中的零样本文本分类方法。

背景技术

传统的零样本学习指的是训练一个模型，使模型对训练集中不可见类别的样本进行识别。但是这个基于测试样本属于不可见类别的前提。对此泛化的零样本学习被提出，模型需要对可见类别和不可见类别的样本进行识别。零样本文本分类是零样本学习的一个重要研究热点。现有的研究主要包含基于分段模型的方法，基于文本蕴含的方法以及基于直推式的方法。

1)基于分段模型的方法

零样本学习在图像分类中被广泛研究。零样本学习的一般思想是将可见类别的知识迁移到不可见类别，绝大多数图像零样本分类方法是在图像特征空间和类别语义空间(例如视觉属性，类别名的词嵌入和类别层)之间学习一个匹配模型。

对于零样本文本分类，类似的方法被采纳了。解决零样本文本分类有一个很流行的两段式框架。如图1所示，在这个模型中四种语义知识(词嵌入，类别表示，类别层级结构和知识图谱)被混合。模型首先通过数据增强针对训练集中的每个类别训练一个二分类器，得到识别每个类别所需的分类器参数，这一步的作用是得到文本是可见类别还是不可见类别的标签信息，如果测试样本通过每个分类器的分类概率都小于一个给定的阈值，则将这个测试样本分为不可见类别，如果测试样本在某个分类器的概率比较大，则将这个测试样本归结为可见类别；模型的第二阶段包含两个分类器，当在第一阶段的样本被分类为可见类别的样本时，在第二阶段将被输入到传统的分类器中，当在第一阶段测试样本被分为不可见类别时，样本在第二阶段将被输入零样本文本分类器中。对于第二阶段零样本文本分类器的训练作者通过词嵌入，类别表示，类别层和知识图谱进行了特征增强来提高零样本分类的性能。这些工作受益于大规模训练语料库和外部语义知识。此类方法的缺点是操作复杂，且分类关键严重依赖于第一阶段的分类结果。

2)基于文本蕴含的方法

传统的文本分类方法是将标签定义为{0，1，2，3...}。这样的定义方式既不能理解样本的特定解释也不能理解标签的具体含义。人类可以很容易的决定标签的真实价值因为人类可以正确解释并且理解这些标签的意义。零样本文本分类的最终目标是开发智能机器使其能力赶上人类的水平。为此，确保系统能够理解样本以及标签的含义起着至关重要的作用。

文本间的推理关系，又称为文本蕴含关系(Textual Entailment)，作为一种基本的文本间语义联系，广泛存在于自然语言文本中。简单地来说文本蕴含关系描述的是两个文本之间的推理关系，其中一个文本作为前提(premise)，另一个文本作为假设(hypothesis)，如果根据前提P能够推理得出假设H，那么就说P蕴含H。这跟一阶逻辑中的蕴含关系是类似的。例如，如表1所示，这句子中前提P是“Adogjumping for a Frisbee inthe snow”，意思一只狗在雪地中接飞盘玩，同时给出了三个假设，这三个假设中前提跟第一个是蕴含关系(entailment)，因为这句话描述的是“一个动物正在寒冷室外玩塑料玩具”，这是能够从前提推理出来的；第二句化描述的是“一只猫...”，这跟前提是冲突的(contradiction)；第三句话与前提既不是蕴含关系也没有冲突，把它定义成中立的(neutral)。