[发明专利]一种数据漂白方法及装置

权利要求书

1.一种数据漂白方法，其特征在于，包括：

获取源数据，将所述源数据按照分布式存储方式进行存储；

采用流式数据访问形式对所述源数据进行访问；

将存储后的源数据进行分块漂白处理，得到漂白后的数据，包括：将所述存储后的源数据进行分块处理，得到若干个数据块；对所述若干个数据块同时进行漂白处理，得到漂白后的数据；

统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量；

当所述源数据的类别数据量是满足预设的数量时，则生成所述漂白后的数据索引，并按照所述索引将所述漂白后的数据存储至数据库；

根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

2.根据权利要求1所述的方法，其特征在于，所述生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库，包括：

根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

3.根据权利要求1所述的方法，其特征在于，还包括：

创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

4.一种数据漂白装置，其特征在于，包括：

获取模块，用于获取源数据，将所述源数据按照分布式存储方式进行存储；

所述装置，用于采用流式数据访问形式对所述源数据进行访问；

漂白模块，用于将存储后的源数据进行分块漂白处理，得到漂白后的数据；

所述漂白模块还包括：分块单元与处理单元；

所述分块单元，用于将所述存储后的源数据进行分块处理，得到若干个数据块；

所述处理单元，用于对所述若干个数据块同时进行漂白处理，得到漂白后的数据；

判断模块，用于统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量；

存储模块，用于当所述源数据的类别数据量是满足预设的数量时，则生成所述漂白后的数据索引，并按照所述索引将所述漂白后的数据存储至数据库；

提取模块，用于根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

5.根据权利要求4所述的装置，其特征在于，所述存储模块包括：

创建单元，用于根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

存储单元，用于按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

6.根据权利要求4所述的装置，其特征在于，还包括：

加密模块，用于创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。