[发明专利]一种数据漂白方法及装置

说明书

本发明公开了一种数据漂白方法及装置，该方法包括：获取源数据，将所述源数据按照分布式存储方式进行存储；将存储后的源数据进行分块漂白处理，得到漂白后的数据；生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。通过本发明实现了提高数据漂白效率和方便对漂白后的数据进行统计分析的目的。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据漂白方法及装置。

背景技术

随着信息技术的发展，信息数据量越来越大，人们可以通过多种渠道访问到海量数据信息。通常的数据中包含了各种信息，这些信息有些并不是用户想要得到的，或者有些信息包含着敏感信息，因此需要对数据进行漂白，然后才能更好地利用数据信息。

现有的数据漂白系统通常是将待漂白的数据存放至中间处理平台环境中，然后按漂白需求编写漂白脚本，在中间平台环境上运行该漂白脚本，对待漂白数据进行漂白生成漂白后的数据，最后将漂白后的数据导入另一个环境中进行统计分析，得到统计分析报告。但是，现有的数据漂白脚本主要是对数据进行逐条漂白，这样会降低大数据的漂白效率，并且对漂白后的数据直接导入到另一系统或环境中进行分析，没有通用的数据加工过程，使得数据统计过程复杂并且效率低。

发明内容

针对于上述问题，本发明提供一种数据漂白方法及装置，实现了提高数据漂白效率和方便对漂白后的数据进行统计分析的目的。

为了实现上述目的，根据本发明的第一方面，提供了一种数据漂白方法，包括：

获取源数据，将所述源数据按照分布式存储方式进行存储；

将存储后的源数据进行分块漂白处理，得到漂白后的数据；

生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；

根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

优选地，所述将所述存储后的源数据进行分块漂白处理，得到漂白后的数据，包括：

将所述存储后的源数据进行分块处理，得到若干个数据块；

对所述若干个数据块同时进行漂白处理，得到漂白后的数据。

优选地，在生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库之前，该方法包括：

统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量，如果是，则生成所述漂白后的数据索引。

优选地，所述生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库，包括：

根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

优选地，还包括：

创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

根据本发明的第二方面，提供了一种数据漂白装置，包括：

获取模块，用于获取源数据，将所述源数据按照分布式存储方式进行存储；

漂白模块，用于将存储后的源数据进行分块漂白处理，得到漂白后的数据；

存储模块，用于生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；