[发明专利]基于Storm的可变逻辑的通用数据处理系统及方法

摘要

本发明提供一种基于Storm的可变逻辑的通用数据处理系统，包括异构数据源标准化服务器用于对异构数据进行多维度标准化处理；流式拓扑结构由多个GSpout、GBolts、以及约束和逻辑系统组成，并通过数据流连接起来，其中约束和逻辑系统中约束和处理逻辑封装在逻辑配置文件中；Zookeeper；监听模块用于将逻辑配置文件中的更新动态发送给Zookeeper进行同步；Web端界面用于监控Zookeeper，以及更新逻辑配置文件。本发明还提供了对应的数据处理方法。本发明一旦业务逻辑需要修改，只需简单修改配置文件，系统会按照修改的逻辑运行，无需业务暂停而去修改代码和重新打包发布新的流计算任务。

主权项

一种基于Storm的可变逻辑的通用数据处理系统，其特征在于，包括：异构数据源标准化服务器，用于对异构数据进行多维度标准化处理，以实现约束和逻辑处理的封装；流式拓扑结构，由多个不同的数据源、处理单元、以及约束和逻辑系统组成，并通过数据流连接起来，其中所述约束和逻辑系统中的约束和处理逻辑封装在逻辑配置文件中，用于更新及存储所述约束和处理的逻辑关系；Zookeeper，用于开源管理所述流式拓扑结构；监听模块，连接于所述逻辑配置文件与所述Zookeeper之间，并将所述逻辑配置文件中的更新动态发送给所述Zookeeper进行同步；Web端界面，连接于所述Zookeeper与所述逻辑配置文件，用于对所述Zookeeper中的信息进行监控，以及通过逻辑配置文件对所述约束和逻辑系统中的逻辑关系进行更新。