[发明专利]数据处理方法以及装置

权利要求书

1.一种数据处理方法，包括：

获取第一数据表的关键字段集合的第一布隆索引，所述第一数据表为键值对数据结构；

利用所述第一布隆索引对第二数据表进行过滤以筛除不在所述第一布隆索引范围内的数据，得到过滤后的第二数据表，所述第二数据表为键值对数据结构；

将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联；

所述将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联包括：

针对第一数据表，将所述第一数据表中相同关键字段的值进行关联，获得所述第一数据表的第一关联集合；

针对所述第二数据表，将所述第二数据表中相同关键字段的值进行关联，获得所述第二数据表的第二关联集合；

将所述第一关联集合与所述第二关联集合中，相同关键字段的值进行关联；

所述将所述第一关联集合与所述第二关联集合中，相同关键字段的值进行关联包括：

根据所述第一关联集合的关键字段集合生成第二布隆索引；

利用所述第二布隆索引对所述第二关联集合进行过滤以筛除不在所述第二布隆索引范围内的数据，得到过滤后的第二关联集合；

将所述第一关联集合与过滤后的第二关联集合中，相同关键字段的值进行关联。

2.根据权利要求1所述的方法，所述方法应用于分布式系统的执行节点；所述获取第一数据表的关键字段集合的第一布隆索引包括：

所述执行节点响应于从驱动节点接收到包含所述第一布隆索引的广播，获取所述第一布隆索引，所述第一布隆索引是由所述驱动节点根据所述第一数据表的关键字段集合生成的。

3.根据权利要求1所述的方法，所述方法应用于spark分布式系统中的cogroup过程。

4.根据权利要求1所述的方法，所述第一数据表为用户数据表，所述第二数据表为用户历史交易数据表，所述关键字段为用户ID。

5.一种数据处理装置，包括：

索引获取模块，被配置为获取第一数据表的关键字段集合的第一布隆索引，所述第一数据表为键值对数据结构；

第一过滤模块，被配置为利用所述第一布隆索引对第二数据表进行过滤以筛除不在所述第一布隆索引范围内的数据，得到过滤后的第二数据表，所述第二数据表为键值对数据结构；

关联模块，被配置为将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联；

所述关联模块包括：

第一关联子模块，被配置为针对第一数据表，将所述第一数据表中相同关键字段的值进行关联，获得所述第一数据表的第一关联集合；

第二关联子模块，被配置为针对所述第二数据表，将所述第二数据表中相同关键字段的值进行关联，获得所述第二数据表的第二关联集合；

第三关联子模块，被配置为将所述第一关联集合与所述第二关联集合中，相同关键字段的值进行关联；

所述第三关联子模块包括：

索引生成子模块，被配置为根据所述第一关联集合的关键字段集合生成第二布隆索引；

过滤子模块，被配置为利用所述第二布隆索引对所述第二关联集合进行过滤以筛除不在所述第二布隆索引范围内的数据，得到过滤后的第二关联集合；

滤后关联子模块，被配置为将所述第一关联集合与过滤后的第二关联集合中，相同关键字段的值进行关联。

6.根据权利要求5所述的装置，所述装置配置于分布式系统的执行节点；所述索引获取模块，被配置为响应于从驱动节点接收到包含所述第一布隆索引的广播，获取所述第一布隆索引，所述第一布隆索引是由所述驱动节点根据所述第一数据表的关键字段集合生成的。