[发明专利]一种面向预训练语言模型隐私泄露风险的评估方法及系统

说明书

本发明涉及隐私安全领域，旨在提供一种面向预训练语言模型隐私泄露风险的评估方法及系统。包括：在预训练数据集中加入伪造数据；将预训练数据集输入初始化的神经网络模型，根据设定的预训练任务和损失函数计算损失；在训练过程中持续更新模型的参数，增加其隐私的泄露风险；利用微调数据集输入经过预训练的神经网络模型，对模型的特征提取能力进行微调；向模型输入隐私前缀内容，输出作为预测结果的文本信息；计算、统计和排序输出信息的困惑度，通过对比生成的隐私信息的比例来评估隐私数据泄露的风险。本发明可以有效提高评估隐私数据泄露风险的准确性，暴露预训练语言模型存在的隐私数据泄露风险，为后续发展相关防御方法提供思路。

技术领域

本发明涉及隐私安全技术领域，尤其涉及一种面向预训练语言模型隐私泄露风险评估方法及系统。

背景技术

自然语言处理是人工智能领域的一个重要应用及分支，其目的是利用深度学习等技术对自然语言进行智能化处理。近年来GPT-2等基于Transformer结构的预训练语言模型由于其优越的性能，逐渐成为了自然语言处理任务的主流模型之一。

在大数据时代下，训练者为了获得性能优越的预训练语言模型，往往会通过多种方式获取大量数据用来训练，比如爬取社交网络上的身份信息或者利用用户终端上传的私密信息，这些数据中可能包含用户的手机号或家庭住址等敏感信息。在这些数据集上训练的模型如果存在隐私泄漏风险，便会使大量用户的隐私信息泄露，进而导致用户面临电信诈骗等威胁人身财产安全的风险。

目前，已有相关研究表明基于Transformer的预训练语言模型存在相关的安全隐私问题。例如，以GPT-2为代表的语言模型能够根据特定的前缀文本自动生成后续文本，在性能得到加强的同时，语言模型能够准确记住并生成训练集中的文本，甚至是其中的隐私信息。这种无意识记忆能力使得GPT-2等大规模预训练语言模型正面临严重的隐私威胁，攻击者在仅拥有模型黑盒访问权限的情况下就可以窃取模型训练集中的隐私数据。

然而，现有研究工作成果主要分析大规模预训练语言模型在推理阶段的隐私泄露风险，对于模型在预训练阶段可能存在的隐私泄露风险工作研究较少。这方面工作的缺失使得预训练语言模型隐私泄露风险的分析存在漏洞，导致深度学习模型面临的隐私威胁加大。

因此，亟需一种合理可靠的、面向预训练语言模型隐私数据泄露风险评估方案，针对具有强大记忆力的大规模语言模型隐私数据泄露风险进行及时准确地评估，并为设计相关防御加固方法提供思路。

发明内容

本发明要解决的技术问题是，克服现有技术中的不足，提供一种面向预训练语言模型隐私泄露风险的评估方法及系统。

为解决技术问题，本发明的解决方案是：

提供一种面向预训练语言模型隐私泄露风险的评估方法，包括以下步骤：

(1)伪造数据

根据要评估的隐私泄露风险的具体类型设定数据信息伪造规则，生成含隐私信息的伪造数据；

(2)模型预训练

建立训练神经网络模型所需的无标签语料库，将其分为预训练数据集和微调数据集两部分，并在预训练数据集中加入伪造数据；将预训练数据集输入初始化的神经网络模型，根据设定的预训练任务和损失函数计算损失；在训练过程中持续更新模型的参数，增加其隐私的泄露风险；

(3)模型微调

将微调数据集输入经过预训练的神经网络模型，在训练过程中持续更新模型的参数，对模型的特征提取能力进行微调；

(4)评估隐私泄露风险

将隐私前缀内容输入经过微调的神经网络模型，模型输出作为预测结果的文本信息，计算该输出信息的困惑度；统计各文本信息的困惑度并按序排列，困惑度越低代表文本信息的真实性就越高，通过对比生成的隐私信息的比例来评估隐私数据泄露的风险。