[发明专利]一种面向预训练语言模型隐私泄露风险的评估方法及系统

权利要求书

1.一种面向预训练语言模型隐私泄露风险的评估方法，其特征在于，包括以下步骤：

(1)伪造数据

根据要评估的隐私泄露风险的具体类型设定数据信息伪造规则，生成含隐私信息的伪造数据；

(2)模型预训练

建立训练神经网络模型所需的无标签语料库，将其分为预训练数据集和微调数据集两部分，并在预训练数据集中加入伪造数据；将预训练数据集输入初始化的神经网络模型，根据设定的预训练任务和损失函数计算损失；在训练过程中持续更新模型的参数，增加其隐私的泄露风险；

(3)模型微调

将微调数据集输入经过预训练的神经网络模型，在训练过程中持续更新模型的参数，对模型的特征提取能力进行微调；

(4)评估隐私泄露风险

将隐私前缀内容输入经过微调的神经网络模型，模型输出作为预测结果的文本信息，计算该输出信息的困惑度；统计各文本信息的困惑度并按序排列，困惑度越低代表文本信息的真实性就越高，通过对比生成的隐私信息的比例来评估隐私数据泄露的风险。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中具体包括：

(1.1)对于想要评估的隐私泄露风险，确定其具体的实现形式；

(1.2)根据泄露风险的实现形式，设定隐私信息的生成规则；

(1.3)生成足量不重复的伪造隐私信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中具体包括：

(2.1)搜集预训练数据集

爬取足量自然文本，组成训练神经网络模型所需的无标签语料库，并分为预训练数据集和微调数据集两部分；将含隐私信息的伪造数据添加到预训练数据集中，使每条自然文本中都包含一条隐私信息；

(2.2)搭建神经网络模型

搭建文本生成类的神经网络模型，该模型包括嵌入层、编码器和解码器三部分；其中，嵌入层用于将文本信息映射到多维向量，编码器将多维向量转换成具有丰富语义和上下文信息的多维向量，解码器将具有语义和上下文信息的多维向量转换成能被嵌入层映射到真实文本的多维向量；

(2.3)预训练和更新模型参数

将预训练数据集输入初始化的神经网络模型，使用梯度下降算法进行学习，根据设定的预训练任务和损失函数计算损失。

4.根据权利要求1所述的方法，其特征在于，所述步骤(2)中训练数据集的样本数量至少超过微调数据集的2倍。

5.根据权利要求1所述的方法，其特征在于，所述步骤(3)中，在模型微调训练时，所用的神经网络模型不使用随机初始化的参数，而是使用经预训练的模型参数。

6.根据权利要求1所述的方法，其特征在于，所述步骤(4)中具体包括：

(4.1)生成隐私前缀内容；

根据要窃取的隐私信息类型，生成具有引导性的隐私前缀内容；

(4.2)神经网络模型进行预测

将隐私前缀内容输入神经网络模型，经过嵌入层、编码器和解码器之后输出预测的信息；不断迭代和重复这个过程，直到生成包含完整隐私信息的预测结果；

(4.3)计算预测结果的困惑度

计算模型预测结果的困惑度，以困惑度代表模型对自身生成文本的置信度；

(4.4)挑选困惑度最低的文本

将生成的文本按照困惑度排序，困惑度越低代表该隐私信息的真实性就越高；通过对比预测结果中隐私信息的比例，来评估隐私数据泄露的风险。