[发明专利]一种关联数据的方法以及装置

权利要求书

1.一种关联数据的方法，其特征在于，所述方法包括：

从spout数据中根据策略筛选待关联日志数据；

根据关联策略生成关联key值；

根据key值查询Redis集群，判断是否返回结果；

若有返回结果，则解析json串，将关联成功字段写入所述待关联日志数据。

2.根据权利要求1所述的方法，其特征在于，所述将关联成功字段写入所述待关联日志数据，包括：

根据标准化关联策略文件中的配置字段，从日志数据中挑选指定字段形成关联key值；

根据所述关联key值从所述Redis集群中关联出匹配的基础数据；

根据所述标准化关联策略文件将所述基础数据填入所述日志数据中的特定字段；

其中，所述标准化关联策略文件通过可扩展编程语言描述所述待关联日志数据得到，所述可扩展编程语言包括：协议类型、过滤条件、关联key值和/或回填信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若未有返回结果，则关联失败，返回执行从spout数据中根据策略筛选待关联日志数据。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

在所述Redis集群中以string的形式存储所述待关联日志数据；

在jstorm集群搭建完成后，根据当前的资源配置各个节点blot的并行度。

5.根据权利要求1至3任意一项所述的方法，其特征在于，所述Redis集群包括：

cluster和master-slave模式；

所述master-slave模式包括：每个node都有一个或者多个slave节点；

当master节点失效后，相应的slave节点被替代为新的master。

6.一种关联数据的装置，其特征在于，所述装置包括：

筛选模块，用于从spout数据中根据策略筛选待关联日志数据；

生成模块，用于根据关联策略生成关联key值；

判断模块，用于根据key值查询Redis集群，判断是否返回结果；

写入模块，用于若有返回结果，则解析json串，将关联成功字段写入所述待关联日志数据。

7.根据权利要求6所述的装置，其特征在于，所述写入模块，具体用于：

根据标准化关联策略文件中的配置字段，从日志数据中挑选指定字段形成关联key值；

根据所述关联key值从所述Redis集群中关联出匹配的基础数据；

根据所述标准化关联策略文件将所述基础数据填入所述日志数据中的特定字段；

其中，所述标准化关联策略文件通过可扩展编程语言描述所述待关联日志数据得到，所述可扩展编程语言包括：协议类型、过滤条件、关联key值和/或回填信息。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

返回模块，用于若未有返回结果，则关联失败，返回执行从spout数据中根据策略筛选待关联日志数据。

9.根据权利要求6至8任意一项所述的装置，其特征在于，所述装置还包括：

处理模块，用于在所述Redis集群中以string的形式存储所述待关联日志数据；在jstorm集群搭建完成后，根据当前的资源配置各个节点blot的并行度。

10.根据权利要求6至8任意一项所述的装置，其特征在于，所述Redis集群包括：

cluster和master-slave模式；

所述master-slave模式包括：每个node都有一个或者多个slave节点；

当master节点失效后，相应的slave节点被替代为新的master。