[发明专利]数据处理引擎

摘要

本发明提供一种数据处理引擎，其根据大数据处理的特点在规则配置模块中设置可视化界面供用户填写配置参数，并根据预设的编译规则自动将用户填写的规则配置参数编译成配置程序或提供可视化界面解析用户填写的SQL语句获取规则配置参数，再将规则配置参数编译成配置程序，根据配置程序智能选择数据处理工具并编译该数据处理工具可识别的执行程序进行数据处理，能够以统一的配置根据用户需求智能选择数据处理工具，自动完成数据处理，简化用户操作，降低数据处理难度，提升数据处理效率。

主权项

一种数据处理引擎，其特征在于，包括：规则配置模块(1)、与所述规则配置模块(1)关联的规则库(2)、与所述规则库(2)关联的规则处理模块(3)、与所述规则处理模块(3)关联的规则编译模块(4)、与所述规则编译模块(4)关联的程序管理器(5)、与所述程序管理器(5)关联的执行模块(6)、以及与所述执行模块(6)关联的大数据平台(7)；所述执行模块(6)中设有多种数据处理工具；所述规则配置模块(1)用于提供可视化界面供用户填写数据处理的规则配置参数或SQL语句，并根据预设的编译规则自动将用户填写的规则配置参数编译成配置程序或解析用户填写的SQL语句获取规则配置参数，再将规则配置参数编译成配置程序，并将配置程序写入规则库(2)；所述规则库(2)用于保存配置程序；所述规则处理模块(3)用于从规则库(2)加载配置程序，并根据预设的验证项验证配置程序的是否可执行，若配置程序可执行，则将配置程序发送到规则编译模块(4)，若配置程序不可执行，则提示不可执行以及不可执行的原因；所述规则编译模块(4)接收配置程序，并根据配置程序选定数据处理工具，同时将配置程序编译成选定的数据处理工具能够识别的一个或多个执行程序，并发送到程序管理器(5)；所述程序管理器(5)用于根据各个执行程序的关系确定各个执行程序的执行顺序，并依次发送到执行模块(6)；所述执行模块(6)用于接收执行程序，并将执行程序提交到该数据处理工具对应的大数据平台(7)进行数据处理；所述大数据平台(7)用于根据执行程序进行数据处理。