[发明专利]数据处理方法以及装置

说明书

本说明书实施例提供数据处理方法以及装置，其中所述方法包括：获取第一数据表的关键字段集合的第一布隆索引，所述第一数据表为键值对数据结构；利用所述第一布隆索引对第二数据表进行过滤以筛除不在所述第一布隆索引范围内的数据，得到过滤后的第二数据表，所述第二数据表为键值对数据结构；将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

随着互联网技术的发展，通过网络平台进行交互已经成为广大互联网用户普遍的行为。然而，网络平台在给用户带来便利的同时，为了避免损害，需要利用海量的历史数据对网络平台中的可疑行为进行分析。

在分析时数据表的关联计算尤其频繁，因此，如何能够提高数据关联效率，成为了人们关注的问题。

发明内容

有鉴于此，本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：获取第一数据表的关键字段集合的第一布隆索引，所述第一数据表为键值对数据结构；利用所述第一布隆索引对第二数据表进行过滤以筛除不在所述第一布隆索引范围内的数据，得到过滤后的第二数据表，所述第二数据表为键值对数据结构；将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联。

可选地，所述将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联包括：针对第一数据表，将所述第一数据表中相同关键字段的值进行关联，获得所述第一数据表的第一关联集合；针对所述第二数据表，将所述第二数据表中相同关键字段的值进行关联，获得所述第二数据表的第二关联集合；将所述第一关联集合与所述第二关联集合中，相同关键字段的值进行关联。

可选地，所述将所述第一关联集合与所述第二关联集合中，相同关键字段的值进行关联包括：根据内存中的关键字段集合生成第二布隆索引；利用所述第二布隆索引对所述第二关联集合进行过滤以筛除不在所述第二布隆索引范围内的数据，得到过滤后的第二关联集合；将所述第一关联集合与过滤后的第二关联集合中，相同关键字段的值进行关联。

可选地，所述方法应用于分布式系统的执行节点；所述获取第一数据表的关键字段集合的第一布隆索引包括：所述执行节点响应于从驱动节点接收到包含所述第一布隆索引的广播，获取所述第一布隆索引，所述第一布隆索引是由所述驱动节点根据所述第一数据表的关键字段集合生成的。

可选地，所述方法应用于spark分布式系统中的cogroup过程。

可选地，所述第一数据表为用户数据表，所述第二数据表为用户历史交易数据表，所述关键字段为用户ID。

根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：索引获取模块，被配置为获取第一数据表的关键字段集合的第一布隆索引，所述第一数据表为键值对数据结构。第一过滤模块，被配置为利用所述第一布隆索引对第二数据表进行过滤以筛除不在所述第一布隆索引范围内的数据，得到过滤后的第二数据表，所述第二数据表为键值对数据结构。关联模块，被配置为将所述第一数据表以及过滤后的所述第二数据表中，相同关键字段的值进行关联。

可选地，所述关联模块包括：第一关联子模块，被配置为针对第一数据表，将所述第一数据表中相同关键字段的值进行关联，获得所述第一数据表的第一关联集合。第二关联子模块，被配置为针对所述第二数据表，将所述第二数据表中相同关键字段的值进行关联，获得所述第二数据表的第二关联集合。第三关联子模块，被配置为将所述第一关联集合与所述第二关联集合中，相同关键字段的值进行关联。