[发明专利]基于标签扩展的零样本文本分类方法

权利要求书

1.基于标签扩展的零样本文本分类方法，其特征在于：该方法包括以下两个步骤，

步骤一：扩展标签；

对数据集的假设标签信息通过专家知识，大型的知识库以及与预训练的语言模型来进行扩充，以丰富其语义知识。具体扩展过程如下所示：

1)首先利用专家知识为每个标签增加2-3个关键词，专家知识通过搜索引擎或者人工获得。

2)ConceptNet以三元组形式的关系型知识构成。ConceptNet的结点表示的是词，ConceptNet的边表示的是词与词之间的关系。为获取标签更广泛的关系语义信息，通过ConceptNet来搜索专家词的相似词来再次扩充标签，得到常识性单词。

3)使用BERT对专家词汇进行扩展，将数据集中带有专家词汇science的句子入预训练的BERT中，获得标签的内容化词向量h，然后通过MLM模型获得词汇表中每个词和专家词汇相似的概率p，表示为，

p(w|h)＝(W²σ(W¹h+b))

其中，w是词汇表中的一个词，W¹，W²表示模型要学习的参数，σ是激活函数，b是偏差。

在获得专家词与词汇表中每个词的相似概率，选取概率最高的前50个词。对于数据集中的所有出现专家词汇的句子，在获得专家词与词汇表中概率最高的前50个词之外，选取重复率最高的50个词作为代表这个标签的词汇表。

通过获得数据集中每个标签的扩展词汇，标签词汇表包含代表这个标签的由ConceptNet创建的一般知识和由预训练语言模型创建的内容化知识。

步骤二：零样本文本分类

首先对泛化的零样本学习进行定义。可见类别的实例S中，零样本文本分类致力于学习一个分类器f(˙):X→Y，其中Y＝S∪U,U是不可见类别的一个集合。

BERT是一个基于注意力的双向语言模型。将标识作为输入，BERT通过多层的Transformer编码器获取标识的嵌入。将BERT在大型的文本蕴含数据集上进行了预训练。对BERT模型进行微调和预训练完成之后，对可见类别的实例S进行训练。照BERT的输入标识规则输入BERT中，BERT提取两句话的特征，最后将这个特征通过线性层输出两句话蕴含和矛盾的概率。训练完成之后，任意输入测试集的两句话进行蕴含测试，其中测试集的假设标签空间包含可见类别和不可见类别即Y＝S∪U。

2.根据权利要求1所述的基于标签扩展的零样本文本分类方法，其特征在于：在扩展标签的时候，为标签的代表的语义不明确，去除在不同标签中重叠的词。