[发明专利]基于分布式流式计算引擎的实时风控变量计算方法有效
申请号: | 201910027821.7 | 申请日: | 2019-01-11 |
公开(公告)号: | CN109799976B | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 邰祺超;桂林;胡蓬 | 申请(专利权)人: | 上海凯岸信息科技有限公司 |
主分类号: | G06F8/20 | 分类号: | G06F8/20;G06F16/242 |
代理公司: | 上海海贝律师事务所 31301 | 代理人: | 范海燕 |
地址: | 201808 上海市嘉定区*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 分布式 计算 引擎 实时 变量 计算方法 | ||
1.一种基于分布式流式计算引擎的实时风控变量计算方法,其特征在于:
在该计算方法中包括:
数据源配置模块:用户配置各种计算依赖的数据源;
变量定义模块:用MySQL语言来开发各种变量;
变量计算模块:根据计算的请求从预先配置的数据源中抓取数据,构建内存表,把相关的变量池中的所有MySQL语句全部执行一遍,并输出计算结果;
风控变量实时计算具体过程如下:
步骤1 接收到变量的请求后,解析变量请求信息的参数,即获知需要计算的数据标识、用户数据维度信息、MySQL语句的参数;
步骤2 根据用户申请信息中的数据标识、用户数据维度信息,从预先配置的数据源抓取数据,推送到高速缓存;
步骤3 根据数据源配置的数据结构信息,从高速缓存中拉取数据,使用ApacheCalcite把拉取的数据构建到服务器的本地内存并形成内存表;
步骤4 从变量池中获取跟用户数据维度相关的全部变量MySQL语句, 和MySQL参数组合成可执行MySQL语句,然后执行MySQL语句在内存表上运行并输出计算结果值。
2.如权利要求1所述的基于分布式流式计算引擎的实时风控变量计算方法,其特征在于:用户数据维度信息包括但不限于信用卡消费记录、通话记录。
3.如权利要求2所述的基于分布式流式计算引擎的实时风控变量计算方法,其特征在于:Apache Calcite本身不会存储或处理数据,却是许多数据库内核的基础,使用Calcite来构建自定义的数据库功能,采用Calcite构建数据库表,通过自定义函数来扩展它的功能。
4.如权利要求3所述的基于分布式流式计算引擎的实时风控变量计算方法,其特征在于:数据源配置模块,该模块是一个统一数据源配置中心, 定义数据源的获取方式和结构化数据的组成,通过此模块配置相应的源数据获取方式及参数、数据的结构信息,在变量计算时,实现自动化构建临时数据库表;用于变量计算的数据是多维度的,不同维度数据的来源都不一样,源数据存在于数据库中的,也会有不同类型的数据库,即使是同一类型数据库,不同的业务系统所使用的数据库也位于不同的服务器上,针对数据库这类的数据源,系统支持配置JDBC数据库连接来获取数据,参数包括数据库驱动、资源定位符、用户名及密码,还有一部分数据是外部系统以接口方式提供,这种通过接口提供数据的方式,支持配置接口地址、访问授权信息参数。
5.如权利要求4所述的基于分布式流式计算引擎的实时风控变量计算方法,其特征在于:变量定义模块,在变量定义模块中,设定变量名,并采用SQL语言编写该变量的计算逻辑,即SQL语句,此处的SQL语句,必须符合Apache Calcite的SQL语法,Apache Calcite是一个新的查询引擎,它提供了标准的SQL语言、多种查询优化的能力,同时对标准SQL进行了扩展,支持自定义函数,用于实现复杂的业务逻辑,相关开发或业务人员开发变量时,编写完SQL语句,保存时会进行SQL语法验证,保存后进行基于验证数据进行逻辑验证,结果正确无误后,推送到变量池并立即参与计算。
6.如权利要求5所述的基于分布式流式计算引擎的实时风控变量计算方法,其特征在于:变量计算模块,实际上是一个强大变量计算引擎,具备构建数据库表、执行SQL语句并输出计算结果的能力。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海凯岸信息科技有限公司,未经上海凯岸信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910027821.7/1.html,转载请声明来源钻瓜专利网。