[发明专利]基于transformer的针对隐私文本的自动检测方法

说明书

本发明公布了一种基于Transformer的针对android应用程序隐私文本的自动检测技术，涉及自然语言处理技术，属于计算机应用技术领域，解决android应用程序内的《隐私政策》是否符合GB/T 35273‑2020《信息安全技术个人信息安全规范》内的标准的问题。主要包括通过BERT生成句向量组成嵌入矩阵、使用Transformer的编码器部分作为特征提取器、使用全连接神经网络和softmax获取分类并预测结果。提出了基于自注意力机制改进的互注意力机制。

技术领域

本发明涉及自然语言处理技术，属于计算机应用技术领域，更具体地说，它涉及一种基于transformer的针对隐私文本的自动检测方法。

背景技术

Transformer模型由Google团队在2018年发表的一篇名为《Attention is AllYou Need》的论文中提出，该模型作为替代RNN和CNN的用于自然语言处理领域的一个新型网络结构。

Transformer和以往的Seq2Seq模型同样是由encoder和decoder两个部分组成，encoder和decoder都包含6个block，其核心思想是self-attention机制，这个模型能注意输入的不同位置用来计算其表示能力。

编码器是由Multi-headattention和feed-forwardnetworks两个模块组成。

解码器是由Multi-head attention、Masked Multi-head attention和feed-forward networks三个模块组成。

Transformer是历史上第一个用纯attention机制搭建的模型，该模型不依赖递归和卷积，计算完全是并行执行的，因此使得计算速度极快、效率高,因为这个特点也是完全优于以往基于序列依赖结构的RNN模型，相较于RNN和CNN，Transformer在翻译任务上能比前者取得了更好的结果，也为以后的BERT模型的开发做了铺垫。

Google在同时期发表的论文《BERT:Pre-training of Deep BidirectionalTransformers for Language Understanding》中提出了BERT模型，BERT模型的架构基于多层Transformer结构，在其基础上提出了崭新的双向概念。

BERT引入了MaskedLM，使用了双向LM和Next Sentence Prediction来做模型预训练。

其证明了更大的模型其训练效果更好，同样为适配多任务下的迁移学习，为下游的任务引入了很多、很通用的输入层和输出层，可以不再为了任务去做模型的大幅度修改或定制一个新的模型。

《信息安全技术个人信息安全规范》规定了安卓应用程序开展收集、存储、使用等对用户个人信息的处理操作必须遵守的原则和安全要求，同时也规定了应用程序内的《隐私政策》必须参照文件内的规范书写。该文件的发布也针对当前应用程序运营管理的一些不合理的现象做出整治。进一步梳理、完善《隐私政策》文本的各项条款。

发明内容

本发明提供一种基于transformer的针对隐私文本的自动检测方法，解决现阶段需要人工判断android应用程序内的《隐私政策》是否符合GB/T35273-2020《信息安全技术个人信息安全规范》内的标准问题，使用Python语言编写代码。

为实现上述目的，本发明研究的一种基于transformer的针对隐私文本的自动检测方法，包括：