[发明专利]一种关联数据的方法以及装置

说明书

技术领域

本发明实施例涉及计算机信息安全的技术领域，尤其涉及一种关联数据的方法以及装置。

背景技术

随着信息技术的发展，尤其是大数据时代的到来,越来越多的行业需要对不同来源的数据进行关联融合，挖掘出数据的最大价值。

传统的数据关联方法大致分为两类：

使用后关联技术，在hadoop(分布式文件系统)集群上通过定时任务对数据全集进行数据关联。这种方法可以使用全局基础数据，可以进行复杂的业务关联，并且关联率高。但是不能进行实时关联，不能保证数据的实时性。

使用前关联技术，将格转后的基础数据存入单节点系统的内存链表中，对链表查询进行业务关联处理，这种方法无法全局使用基础数据，关联率低。而且前关联技术的实现多采用底层语言编写，开发周期长，开发难度大，并且后期运维成本高。

综上所述，海量数据实时关联系统需要：实时性：面向实时数据流；规则实时生效。简易性:易于开发并且易于维护。可扩展：能够由业务人员单独进行规则的编写管理。可定制：可支持多个关联业务场景。可靠性：巨量的日志数据和巨量的基础数据就决定了系统必须要有足够的稳定性和健壮性。

发明内容

本发明实施例的目的在于提出一种关联数据的方法以及装置，旨在解决传统关联方法中存在的弊端。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种关联数据的方法，所述方法包括：

从spout数据中根据策略筛选待关联日志数据；

根据关联策略生成关联key值；

根据key值查询Redis集群，判断是否返回结果；

若有返回结果，则解析json串，将关联成功字段写入所述待关联日志数据。

可选地，所述将关联成功字段写入所述待关联日志数据，包括：

根据标准化关联策略文件中的配置字段，从日志数据中挑选指定字段形成关联key值；

根据所述关联key值从所述Redis集群中关联出匹配的基础数据；

根据所述标准化关联策略文件将所述基础数据填入所述日志数据中的特定字段；

其中，所述标准化关联策略文件通过可扩展编程语言描述所述待关联日志数据得到，所述可扩展编程语言包括：协议类型、过滤条件、关联key值和/或回填信息。

可选地，所述方法还包括：

若未有返回结果，则关联失败，返回执行从spout数据中根据策略筛选待关联日志数据。

可选地，所述方法还包括：

在所述Redis集群中以string的形式存储所述待关联日志数据；

在jstorm集群搭建完成后，根据当前的资源配置各个节点blot的并行度。

可选地，所述Redis集群包括：

cluster和master-slave模式；

所述master-slave模式包括：每个node都有一个或者多个slave节点；

当master节点失效后，相应的slave节点被替代为新的master。

第二方面，一种关联数据的装置，所述装置包括：

筛选模块，用于从spout数据中根据策略筛选待关联日志数据；

生成模块，用于根据关联策略生成关联key值；

判断模块，用于根据key值查询Redis集群，判断是否返回结果；

写入模块，用于若有返回结果，则解析json串，将关联成功字段写入所述待关联日志数据。

可选地，所述写入模块，具体用于：

根据标准化关联策略文件中的配置字段，从日志数据中挑选指定字段形成关联key值；

根据所述关联key值从所述Redis集群中关联出匹配的基础数据；

根据所述标准化关联策略文件将所述基础数据填入所述日志数据中的特定字段；

其中，所述标准化关联策略文件通过可扩展编程语言描述所述待关联日志数据得到，所述可扩展编程语言包括：协议类型、过滤条件、关联key值和/或回填信息。

可选地，所述装置还包括：

返回模块，用于若未有返回结果，则关联失败，返回执行从spout数据中根据策略筛选待关联日志数据。

可选地，所述装置还包括：

处理模块，用于在所述Redis集群中以string的形式存储所述待关联日志数据；在jstorm集群搭建完成后，根据当前的资源配置各个节点blot的并行度。

可选地，所述Redis集群包括：