[发明专利]基于特征重构和抽象类转移概率的小样本槽位填充方法

权利要求书

1.基于特征重构和抽象类转移概率的小样本槽位填充方法，其特征在于，包括以下步骤：

步骤1：利用成对上下文编码，生成标记Token的嵌入向量；

步骤2：基于特征重构网络计算Token隶属于槽位标签的概率，即发射概率；通过计算句子中每个Token的发射概率，即Token与各个槽位标签类别表示的相似度；

步骤3：获取抽象类转移概率和具体类转移概率；

通过计算具体类转移概率，即相邻两个具体槽位标签之间的转移概率，如下式所示：

f_T(y_i-1,y_i)＝p(y_i|y_i-1)

其中，f_T表示转移概率，y_i表示槽位标注序列，p表示条件概率；

在训练集中，建模学习抽象类槽位标签的转移概率；

在测试集中，对于新的槽位标签类别，将抽象类槽位标签的转移概率具体化，获得具体类槽位标签的转移概率；

步骤4：计算句子中Token序列的序列标注概率，句子的Token序列根据序列标注概率，输出Token隶属的槽位标签。

2.如权利要求1所述的基于特征重构和抽象类转移概率的小样本槽位填充方法，其特征在于，步骤1中，采用基于预训练模型BERT的成对上下文编码，生成Token的嵌入向量；

首先，对于待标注的句子x，支撑集中的N_s个句子将句子x和这些N_s个句子分别配对；

然后，将配对结果分别输入到BERT中，共获得N_s个句子x的向量，对这些向量取均值后，作为句子x的最终向量表示，同时获得句子x中各个Token的向量。

3.如权利要求1所述的基于特征重构和抽象类转移概率的小样本槽位填充方法，其特征在于，步骤2包括以下步骤：

步骤2.1：构建槽位标签的语义特征向量；

初始化一组参考向量φ₁,φ₂,...,φ_N，N为槽位标签类别个数，也就是为每个槽位标签类别生成对应的参考向量；

使用BIO标注方法，其中，B：Begin标签表示槽位值片段的开始Token位置，I：Inner标签表示槽位值片段的中间Token位置，O：Other标签表示该Token不属于槽位值；

对于B-X和I-X标签，由两部分组成，第一部分是B或I，全称为Begin或Inner，第二部分是X，表示槽位标签的语义信息；

将B、I、O标签称为抽象类槽位标签，将X称为具体类槽位标签；将抽象类槽位标签和具体类槽位标签拼接，称为槽位标签名称；

步骤2.2：修正槽位标签类别的参考向量；

在一个支撑集中，对于隶属于槽位标签类别i的Token样本，经过成对上下文编码获得Token样本表示；对隶属于槽位标签类别i的所有Token样本表示取均值，获得原型表示c_i；

首先，对于槽位标签类别i，生成i的标签语义增强的参考向量ψ_i，如式1所示：

ψ_i＝(1-α)·φ_i+αs_i            (1)

其中，α是一个平衡因子，φ_i是槽位标签类别i的初始化参考向量，s_i是槽位标签类别i的语义特征向量；

对标签语义增强的参考向量ψ_i进行修正，如式2所示：

其中，N表示槽位标签类别个数，ψ_k表示槽位标签类别k的标签语义增强的参考向量；

然后，计算修正后的参考向量和原型表示c_i之间的误差，如式3所示：

最后，使用映射矩阵M减少该误差到0，如式4所示：

M＝null_D([ε₁；ε₂；...；ε_N])        (4)

其中，D表示M的列数，null表示M是ε_i的一个线性零解，即映射矩阵M和误差ε_i的关系为ε_iM＝0；计算矩阵M；

步骤2.3：获得槽位标签类别表示，计算Token和槽位标签类别表示的相似度，即发射概率；

首先，为了获得标签类别表示Ω_i，融合标签语义增强的参考向量和原型表示c_i，如式5所示：

其中，β为平衡因子；

然后，生成Token嵌入；将标签类别表示Ω_i和Token的嵌入表示，经过映射矩阵M映射到新的表示空间中；在新的表示空间中，计算Token嵌入和槽位标签类别表示之间的相似度，如式6至式10所示：

z'＝E(z)                             (6)

其中，z表示句子x中的Token，是新的表示空间中的Token嵌入表示，表示文本序列，E表示成对上下文编码，M是映射矩阵，是新的表示空间中的槽位标签类别表示，SIM表示采用点积来计算Token和槽位标签类别表示之间的相似度，S为支撑集，f_E表示发射概率，y_i表示槽位标注序列。