[发明专利]一种基于大数据的数据信息脱敏方法及系统

说明书

本发明公开了一种基于大数据的数据信息脱敏方法及系统，包括：在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。本发明的脱敏方法提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。

技术领域

本发明涉及数据脱敏处理技术领域，并且更具体地，涉及一种基于大数据的数据信息脱敏方法及系统。

背景技术

随着大数据技术的迅猛发展，包含业务、账户等大量敏感信息积累在企业信息系统中，若处理不当，使得这些敏感信息遗失、泄露甚至被窃取，将会对企业造成经济上，甚至声誉上严重的负面影响。企业的正常生产经营极度依赖于信息系统的数据安全保障，一旦信息系统内数据保护不当，导致企业的经营信息、重要人员信息、客户信息、核心产品技术信息等商业机密泄露或被窃取，将造成企业生产经营方面的重大风险与隐患。

在常见的数据脱敏体系中，是在数据落地数据库之后再进行脱敏等操作，这样会存在数据泄露等不安全状况。而且在对一些带量纲的数值数据的脱敏上，只是采取一些加减固定值或随机数等简单的方式，后续需要进行的数据分析等工作在使用数据时会产生较大误差。

发明内容

本发明提出一种基于大数据的数据信息脱敏方法及系统，以解决如何准确、安全地对数据进行脱敏的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种基于大数据的数据信息脱敏方法，所述方法包括：

在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；

根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；

计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；

根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。

优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：

根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。

优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。

优选地，其中所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：

利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；

对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；

根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。

优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。

根据本发明的另一个方面，提供了一种基于大数据的数据信息脱敏系统，所述系统包括：

第一脱敏处理单元，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；