[发明专利]基于transformer的针对隐私文本的自动检测方法

权利要求书

1.一种基于Transformer的针对Android应用程序的隐私文本的自动检测方法，其特征在于，包括以下步骤：

S1，输入《隐私政策》初始文本，对其进行断句并通过语义完整性分析模块转化为带有语义的嵌入矩阵；

S2，输入《信息安全技术个人信息安全规范》内的标准文本，将标准文本的标准句表示为嵌入矩阵；将《隐私政策》的嵌入矩阵与《信息安全技术个人信息安全规范》的嵌入矩阵进行交互；

S3，将交互后得到的语义向量与标准句的嵌入矩阵拼接，通过神经网络训练，对其进行分类并预测结果；

步骤S2具体包括：

基于Transformer的自注意力机制改进的8头互注意力机制形成的交互层进行《隐私政策》的嵌入矩阵与《信息安全技术个人信息安全规范》的嵌入矩阵的交互；

矩阵A记为《隐私政策》的大小为m*768的嵌入矩阵，矩阵B记为《信息安全技术个人信息安全规范》的大小为1*768的嵌入矩阵，计算出Q_i＝BW_i^Q、K_i＝AW_i^K、V_i＝AW_i^V，其中，W_i^Q、W_i^K、W_i^V均为大小为768*64的矩阵，计算出Q_i的为大小为1*64的向量，K_i、V_i均为大小为m*64的矩阵，m表示《隐私政策》分句的数量，W_i^Q指的是W矩阵的第i个维度，是一个向量，W_i^K、W_i^V同理，W是随机分布的值为很小的权重矩阵；i为第i头互注意力机制；

再通过进行相似度计算的注意力机制，除以一个K的维度，计算公式如下：

式中；d_k表示K的维度；

接下来将A和B输入到互注意力机制中，重复以上步骤8次，计算出Z₁...Z₈，每一个向量大小均为1*64，再将所得的向量横向拼接并乘上一个大小为512*768的权重矩阵W⁰，交互后得到语义向量记Z_1*768。

2.根据权利要求1所述的基于Transformer的针对Android应用程序的隐私文本的自动检测方法，其特征在于，所述S1过程中，利用BERT模型结合按条分句对《隐私政策》内的文档进行层级表示，先将词组成句，再将句组成嵌入矩阵。

3.根据权利要求1所述的基于Transformer的针对Android应用程序的隐私文本的自动检测方法，其特征在于，所述S1过程中，利用Transformer的Encoder部分作为特征提取器，提取句中的语义、语法特征，确保带有上下文的语义。