[发明专利]一种从非结构化数据中提取敏感信息的方法

权利要求书

1.一种从非结构化数据中提取敏感信息的方法，其特征在于，所述方法能够从非结构化数据中提取敏感信息；所述敏感信息涵盖GB/T 35273-2017 《信息安全技术 个人信息安全规范》中涉及的个人敏感信息，具体类型包括个人基本资料，个人身份信息，网络身份标识信息，个人健康生理信息，个人教育工作信息，个人财产信息，个人通信信息，联系人信息，个人上网记录，个人常用设备信息，个人位置信息；

所述方法包括：

步骤1、使用预处理解析工具从文本文档中解析并提取出非结构化文本；

步骤2、对非结构化文本进行预处理：对文本中的特殊信息进行替换、文本清洗和文本分割得到文本序列；

步骤3、采用基于深度学习的序列标注模型（BERT-BiLSTM-Attention）对文本序列中的敏感信息进行标注。

2.根据权利要求1所述的非结构化数据中敏感信息提取方法，其特征在于，所述步骤2中，数据预处理的过程为：

步骤21、特殊信息替换：所述特殊信息为信息安全领域中具有特殊格式，构造出正则表达式的信息：IP地址、MAC地址、API KEY/Token、密钥、邮箱地址、URL，将这类信息使用正则匹配提取并替换为“信息类型 信息属性”的自然语言形式；

步骤22、文本清洗：删除所有的非ASCII码的字符并且删除每行开头和结束位置的空白符；将大写字母转化为小写字母；对于英文文本的预处理，使用NLTK库对每个词进行词形还原；

步骤23、文本分割：文本的分句按行将文本分为若干个句子；对文本中的每个句子使用WordPiece方法分词，最终得到文档的文本序列集X。

3.根据权利要求1所述的非结构化数据中敏感信息提取方法，其特征在于，所述步骤3中，序列标注模型（BERT-BiLSTM-Attention）提取敏感信息的过程包括：

步骤31、词嵌入层：将步骤2所述的文本序列X输入动态词向量模型BERT，得到文本序列对应的词向量E；

步骤32、双向LSTM层：将步骤31所述的词向量输入双向LSTM层提取文本上下文特征，产生对应的隐状态表示H；

步骤33、Attention层：将步骤32所述的隐状态输入Attention层，提取文本序列中的关键信息，生成新的隐状态表示L；

步骤34、全连接层：将步骤33所述的新的隐状态表示作为全连接层的输入，使用激活函数softmax计算每个词的类别概率分布，得到对应的标注标签，标注策略采用BIO策略，B为敏感信息的起始位置，I为敏感信息其他部分，O为非敏感信息；

步骤35、根据BIO标注原则和步骤34所述的标注标签，提取其中的敏感信息实体，得到敏感信息抽取模型。

4.根据权利要求1所述的基于上下文的敏感信息提取方法，其特征在于，BERT-BiLSTM-Attention模型的训练过程包括：

步骤a、收集包含敏感信息的文档，按照步骤2所述的方法进行预处理，人工对其中的敏感信息按照BIO策略进行标注，得到训练集；

步骤b、采用BERT预训练模型对步骤a所述的训练集文本序列生成词向量；

步骤c、训练BiLSTM-Attention序列标注模型；

步骤d、对模型进行评估，通过参数调整改进模型；

步骤e、结束训练，输出训练好的序列标注模型。