[发明专利]一种基于冗余信息过滤的无监督句子表征学习方法

权利要求书

1.一种基于冗余信息过滤的无监督句子表征学习方法，其特征在于，采用正、负样本之间的对比，以及正样本之间的重构，实现冗余信息的过滤，具体步骤如下：

步骤1：正、负样本对比

1-1：正、负样本的构造

使用暂退掩码数据增强构造正、负样本，即同一个句子被重复传入编码器得到的两个句子表示被视作一对正样本，而同一个训练小批量中的其它句子表示则被视作为负样本，所述训练采用维基百科数据集作为训练数据集进行正、负样本构造；

1-2：InfoNCE损失函数

使用下述(a)式所示的InfoNCE损失函数训练InforMin-CL模型：

其中，在一个训练小批量中，对于给定的输入，h为输入的一个正样本；为输入的另一个正样本；为负样本；N为对应训练的批量大小；τ为温度系数；

所述InforMin-CL模型以BERT和RoBERTa为基础模型，将其在维基百科数据集上训练得到的，该模型输出端的隐藏向量被全连接网络进一步映射得到的向量，作为学习到的句子表示；

1-3：信息最小化

令为下述(b)式所示的充分监督表示：

则有下述(c)式所示的充分自监督表示^l：

令为下述(d)式所示的极小充分监督表示：

则有下述(e)式所示的极小充分自监督表示

其中，X、Z和S分别为正、负样本和自监督信号；T为下游任务所需的有用信息；I和H分别为互信息和信息熵；

将输入X以重复不同的暂退掩码输入编码器得到两个正样本2¹和2⁴，并将其中一个正样本2⁴作为自监督信号，使用下述(f)式表示的损失函数L_c作为对比操作的训练目标：

其中，是训练小批量中第i个输入的正样本；N为对应训练的批量大小；P为(Z¹,Z⁴)的统计分布；

步骤2：重构正、负样本，过滤输入中的冗余信息

2-1：利用最小信息熵丢弃无用信息

利用自监督信号z⁴重构学习到的表示z¹，也就是最大化对数条件似然值由于，则上述重构操作的目标为最小化H(Z¹|Z²)；对于任何在最大化I(z¹；z²)的限制条件下，如果z²能重构出z¹，则由下述(g)式得到极小充分自监督表示

然后，z¹丢弃了除I(z¹；z²|t)之外所有的冗余信息，其中，I(z¹；z²|t)就是z¹和z⁴共享的那部分信息中包含的冗余信息；

使用作为对数条件似然值的下界，其中，Q_φ(Z¹|Z²)为(Z¹,Z²)的统计分布，且服从高斯分布N(Z¹|Z²,σI)，σI为一个对角矩阵；由此，InforMin-CL模型得到下述(h)式所示的重构目标L_R：

将上述L_c和L_P结合成下述(i)式所示的总的学习目标L：

L＝L_C+λ*L_R (i)；

其中，λ为超参数；

利用总的学习目标L训练InforMin-CL模型，使得学习到的句子表示过滤掉输入中的冗余信息；

2-2：句子表征学习

采用正样本作为自监督信号，通过基于信息最小化原则的重构操作，对预训练数据集当中的冗余信息进行过滤，并基于此来进行句子表征学习；

步骤3：下游任务评测

训练完毕之后，使用基于无监督下游任务和有监督下游任务分别评测InforMin-CL模型学习到的表示，所述基于无监督下游任务为语义相似度任务；所述基于有监督下游任务为分类任务。