[发明专利]大数据的脱敏方法和系统

说明书

本发明提供一种大数据脱敏方法和系统，具体包括：首先对大数据平台的源数据进行扫描发现、数据解析、敏感数据分级分类；数据脱敏模块侦听大数据平台的访问请求，依据用户角色、请求数据内容和预设的脱敏算法规则，利用Hive hook机制、HBase协处理器机制对请求的数据结果集进行脱敏处理，最后将脱敏后的数据返回到大数据平台；在此基础上进行脱敏策略制定，脱敏算法和参数设置、策略管理和下发；实现大数据环境下从敏感数据识别到动态数据脱敏的完整解决方案。

技术领域

本发明涉及信息安全领域，尤其涉及一种大数据脱敏方法和系统。

背景技术

大数据平台接入的数据中可能存储大量的敏感信息，一旦泄露或遭到非法利用，将会给个人、企业甚至是国家带来无法弥补的损失。为此，大数据隐私保护越来越受到重视。数据脱敏通过给定的规则、策略，对敏感数据进行掩蔽和变形，实现敏感数据的保护。数据脱敏在不降低安全性的前提下，使原有数据的使用范围和共享对象得以拓展，是大数据环境下最有效的敏感数据保护方法。

一个好的数据脱敏过程必须具备以下特点：脱敏后的数据应具有原数据的大部分特征，保证业务关联性、数据有效性和完整性。常用的实施脱敏的方法是采用替换、随机变换、加密等脱敏算法对敏感数据进行静态或动态脱敏。上述的方法已经得到了广泛的应用，而且也获得了较大的成功，但是目前的脱敏方法存在几方面的问题：1）目前基于Hadoop大数据平台及Hive、HBase等数据库的数据脱敏技术仍然处于探索阶段，没有成熟的方法和流程；2）数据脱敏策略管理和脱敏质量参差不齐，有些在脱敏复杂度、风险和脱敏算法的灵活度方面考虑不全；3）现有的数据脱敏仅仅考虑了敏感数据的识别，缺乏对敏感数据的分级分类和更加细粒度的管理。

发明内容

本发明提供了一种大数据脱敏方法和系统，其特征在于，提供了一种完整的大数据环境下敏感数据识别和脱敏方案，该系统能够对Hadoop平台的敏感数据进行识别定级与数据脱敏，在保证数据脱敏性能的同时，实现敏感数据的多级安全管理。

一方面，本公开实施例的大数据脱敏方法，包括：首先对大数据平台的源数据进行扫描发现、数据解析、敏感数据分级分类；在此基础上进行脱敏策略制定，脱敏算法和参数设置、策略管理和下发；由Hive数据仓库、HBase协处理器来完成动态数据脱敏，检测大数据平台的访问请求，识别访问请求中的敏感数据，根据制定的脱敏策略来对敏感数据进行脱敏，最后将脱敏后的数据返回到大数据平台。

另一方面，本公开实施例的大数据脱敏系统，包括：敏感数据识别与数据脱敏两个子系统。在敏感数据识别子系统中，数据源扫描模块，用于对Hadoop平台的全量数据扫描发现，获取Hive、HBase源数据；敏感数据识别定级模块，用于敏感数据的分级分类；敏感特征库，用于存储敏感数据特征、敏感级标识、敏感字典管理。在数据脱敏子系统中，脱敏策略配置模块，用于确定敏感数据目录、用户与至少一种脱敏规则之间的对应关系；脱敏规则库，用于存储脱敏规则的类型，包括加密、替换、随机化及散列等19种脱敏算法；Hive动态脱敏模块，用于检测Hive数据访问请求，并执行所述脱敏任务；HBase动态脱敏模块，用于检测HBase数据访问请求，并执行所述脱敏任务以将每一个所述源数据分别转换成对应的脱敏数据。

本发明具有如下的优点和有益效果：

本发明提出一种大数据脱敏方法，提供一种大数据环境下从敏感数据识别到动态数据脱敏的完整解决方案，包括一种Hive动态脱敏和HBase动态脱敏方法；

本发明提供一种大数据脱敏系统，能够对敏感数据进行分级分类识别，遵循等级保护要求；

本发明提供一种大数据脱敏系统，能够提供包括加密、屏蔽、替换及散列等19种脱敏算法；

本发明提供一种大数据脱敏系统，能够实现从大数据源头进行动态脱敏，所述系统支持Hadoop大数据平台及Hive、HBase等数据库。

本发明也提供一种敏感数据的脱敏方法，其特征在于：