[发明专利]一种半结构化文本数据的规则引擎系统的整体计算方法

说明书

一种半结构化文本数据的规则引擎系统的整体计算方法，包括以下步骤：S1、枚举企业基础信息与文本抽取信息的数据类型组合；S2、定义底层量化模块的运算体系；S3、定义指标依赖的字段及字段类型，S4、将字段配置在脚本代码头部并将指标上传至数据接入模块中；S5、通过解析脚本代码中指标依赖的字段读取外部数据库；S6、得到筛选后的统一格式的新数据并传入指标运算层；S7、在总服务器上配置Spark集群；S8、设置指标脚本驱动模块；S9、将新数据带入规则中形成整体的指标运算任务；S10、将任务指派给Spark集群中的Cluster管理器；S11、Cluster管理器将任务进行拆解；S12、将拆解的指标运算任务挂载相对闲置的其他服务器。本方法能对多来源数据接入并快速得到想要的数据。

技术领域

本发明涉及计算机科学软件信息技术领域，特别是涉及一种半结构化文本数据的规则引擎系统的整体计算方法。

背景技术

规则引擎近年来被广泛应用于泛金融及反欺诈领域，帮助监控和发现目标客户群体中的异常、风险、商机等。在数据层面，支撑传统规则引擎的，大多为用户行为(如登录、注册、浏览、收藏、消费等)数据、企业财务数据等，这类数据大多有着结构化、可度量的特性。例如用户行为数据就离不开次数、频率、价格、时间等概念。然而在面对处理互联网上爬取的大量非结构化、半结构化数据时，传统的规则引擎面临难以量化文本信息的挑战。因为传统的规则引擎，其底层存储通常是结构化的数据表，指标或规则的配置则依赖于这些字段。然而，在非结构化或者半结构化数据领域中，数据存在多源、多类型、异构特质，由此给传统规则引擎带来的问题有以下3点：

1.在配置不同应用场景的指标、规则时，很难做到在字段层面从各数据源无冗余地获取所需数据；

2.不同来源的字段存在精度不同、字段类型不兼容的情况，基于JSON格式的数据有着较复杂的数据结构，使得与关系型数据库数据的字段联合使用时，存在格式一致性转换的难点。

3.在非结构化、或者半结构化文本数据领域，不能灵活实现量化规则配置。

发明内容

针对上述现有技术的不足，本发明提供了一种半结构化文本数据的规则引擎系统的整体计算方法，对多来源数据接入后，快速得到想要的数据。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种半结构化文本数据的规则引擎系统的整体计算方法，包括数据融合层、数据处理层和指标运算层，该方法包括以下步骤：

S1、枚举企业基础信息与文本抽取信息的数据类型组合，定义各数据类型之间的计算方式，所述企业基础信息与文本抽取信息的数据类型为底层量化模块；

S2、根据底层量化模块的类型，定义底层量化模块的运算体系；

S3、在所述指标运算层的指标配置模块中定义指标依赖的字段及字段类型，根据不同的场景所涉及的内容，将各个指标依赖的字段通过S2定义的运算体系配置成指标；并将所述指标通过逻辑运算得到指标组，所述指标组通过逻辑运算得到规则；

S4、将所述指标依赖的字段以约定的规范配置在脚本代码头部并将指标上传至数据接入模块中；

S5、所述数据接入模块通过解析脚本代码中所述指标依赖的字段读取与所述数据接入模块连接的外部数据库；用以认证外部数据库的host,port,database信息；

S6、所述数据接入模块读取外部数据库的数据通过所述数据处理层进行数据的处理，得到筛选后的统一格式的新数据并传入所述指标运算层；所述指标运算层设置在多个服务器上，所述多个服务器分为包括总服务器和若干分服务器；

S7、在所述总服务器上配置Spark集群，将除总服务器以外的所有分服务器的IP地址设置到所述总服务器的Spark集群中；