[发明专利]一种在文本大数据中发现敏感数据的方法在审
| 申请号： | 201711399063.9 | 申请日： | 2017-12-22 |
| 公开（公告）号： | CN108280130A | 公开（公告）日： | 2018-07-13 |
| 发明（设计）人： | 杨永刚;张锋军;李庆华;牛作元 | 申请（专利权）人： | 中国电子科技集团公司第三十研究所 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 成都九鼎天元知识产权代理有限公司 51214 | 代理人： | 邓世燕 |
| 地址： | 610000 *** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种在文本大数据中发现敏感数据的方法，包括如下步骤：建立敏感词信息库；对敏感词信息库中的所有敏感词建立敏感词语检索树；将经过预处理的文本以字符串流的形式通过检索树进行敏感词检索发现，同时统计每个敏感词的出现频率；利用敏感词的出现频率、文档类别和敏感词语的权重级别计算待检索文本的敏感度；将待检索文本的敏感度与预设的阀值进行比较，将敏感度值超过阀值的检索文本确定为敏感类文本。本发明能够为海量异构文本提供快速发现规范化和非规范化描述的敏感信息的方法，实现敏感信息的快速精准查找和模糊检索相结合的方式实现潜在的敏感信息的快速发现。 | ||
| 搜索关键词： | 敏感词 检索文本 敏感信息 敏感度 文本 敏感词语 敏感数据 信息库 大数据 检索树 发现 预处理 快速精准 模糊检索 权重级别 文本提供 文档类别 字符串流 规范化 潜在的 异构 预设 检索 查找 敏感 统计 | ||
【主权项】：
1.一种在文本大数据中发现敏感数据的方法，其特征在于：包括如下步骤：步骤一、建立敏感词信息库：敏感词信息库中的每条记录包括敏感词描述和扩展信息；利用敏感词的不规范描述词语构建变异词库并进行索引归类；步骤二、对敏感词信息库中的所有敏感词建立敏感词语检索树；步骤三、将经过预处理的文本以字符串流的形式通过检索树进行敏感词检索发现，同时统计每个敏感词的出现频率；步骤四、利用敏感词的出现频率、文档类别和敏感词语的权重级别计算待检索文本的敏感度；步骤五、将待检索文本的敏感度与预设的阀值进行比较，将敏感度值超过阀值的检索文本确定为敏感类文本。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国电子科技集团公司第三十研究所，未经中国电子科技集团公司第三十研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711399063.9/，转载请声明来源钻瓜专利网。
