[发明专利]一种半结构化文本数据的规则引擎系统的整体计算方法

摘要

一种半结构化文本数据的规则引擎系统的整体计算方法，包括以下步骤：S1、枚举企业基础信息与文本抽取信息的数据类型组合；S2、定义底层量化模块的运算体系；S3、定义指标依赖的字段及字段类型，S4、将字段配置在脚本代码头部并将指标上传至数据接入模块中；S5、通过解析脚本代码中指标依赖的字段读取外部数据库；S6、得到筛选后的统一格式的新数据并传入指标运算层；S7、在总服务器上配置Spark集群；S8、设置指标脚本驱动模块；S9、将新数据带入规则中形成整体的指标运算任务；S10、将任务指派给Spark集群中的Cluster管理器；S11、Cluster管理器将任务进行拆解；S12、将拆解的指标运算任务挂载相对闲置的其他服务器。本方法能对多来源数据接入并快速得到想要的数据。

主权项

1.一种半结构化文本数据的规则引擎系统的整体计算方法，其特征在于，包括数据融合层、数据处理层和指标运算层，该方法包括以下步骤：S1、枚举企业基础信息与文本抽取信息的数据类型组合，定义各数据类型之间的计算方式，所述企业基础信息与文本抽取信息的数据类型为底层量化模块；S2、根据底层量化模块的类型，定义底层量化模块的运算体系；S3、在所述指标运算层的指标配置模块中定义指标依赖的字段及字段类型，根据不同的场景所涉及的内容，将各个指标依赖的字段通过S2定义的运算体系配置成指标；并将所述指标通过逻辑运算得到指标组，所述指标组通过逻辑运算得到规则；S4、将所述指标依赖的字段以约定的规范配置在脚本代码头部并将指标上传至数据接入模块中；S5、所述数据接入模块通过解析脚本代码中所述指标依赖的字段读取与所述数据接入模块连接的外部数据库；用以认证外部数据库的host,port,database信息；S6、所述数据接入模块读取外部数据库的数据通过所述数据处理层进行数据的处理，得到筛选后的统一格式的新数据并传入所述指标运算层；所述指标运算层设置在多个服务器上，所述多个服务器分为包括总服务器和其他服务器；S7、在所述总服务器上配置Spark集群，将除总服务器以外的所有其他服务器的IP地址设置到所述总服务器的Spark集群中；S8、在所述总服务器上设置指标脚本驱动模块，在设置脚本驱动模块时设置逻辑控制参数和SparkContext，所述逻辑控制参数通过所述SparkContext传输给Spark集群的Cluster管理器；S9、将新数据带入所述规则中形成整体的指标运算任务；S10、所述脚本驱动模块将整体的指标运算任务指派给所述Spark集群中的Cluster管理器；S11、通过MapReduce机制，所述Cluster管理器将整体的指标运算任务进行拆解；S12、所述Cluster管理器将拆解后的指标运算任务依据其他服务器的“繁忙程度”，挂载到相对闲置的其他服务器上；S13、每台其他服务器在执行完指标运算任务后，将执行结果传输至总服务器的缓存模块进行存储并返回至所述总服务器。