[发明专利]小微信贷租户数据仓库数据处理系统及设备有效
申请号: | 201910405548.7 | 申请日: | 2019-05-16 |
公开(公告)号: | CN110119422B | 公开(公告)日: | 2021-05-07 |
发明(设计)人: | 李维瀚;李伟;袁游 | 申请(专利权)人: | 武汉神算云信息科技有限责任公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/28;G06Q40/02 |
代理公司: | 武汉明正专利代理事务所(普通合伙) 42241 | 代理人: | 江沣 |
地址: | 430000 湖北省武汉市江汉区武汉*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 信贷 租户 数据仓库 数据处理系统 设备 | ||
1.一种小微信贷租户数据仓库数据处理系统,其特征在于,包括:
全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层;
所述全局配置层,与所述总控制管理层连接,用于配置全局信息;
所述租户配置层,与所述总控制管理层连接,用于给租户配置信息;
所述总控制管理层,与所述租户数据池连接,用于动态下发接口任务和动态协调资源分配;
所述租户数据池,与所述ETL租户抽取层连接,用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池;
所述ETL租户抽取层,与所述数据仓库数据合并层连接,用于将租户数据抽取到数据缓冲区;
所述数据仓库数据合并层,与所述数据接口分离层连接,用于聚合租户数据;
所述数据接口分离层,与数据权限控制层连接,用于使在线分析处理OLAP查询租户数据;
所述数据权限控制层,用于设定租户权限;
其中,所述ETL为数据提取、转换和加载的过程;
所述用于使在线分析处理OLAP查询租户数据,包括:
根据租户ID,在线分析处理OLAP将租户数据从数据仓库中分离,储存在多维数据立方体中,在线分析处理OLAP从所述多维数据立方体中查询租户数据。
2.根据权利要求1所述的小微信贷租户数据仓库数据处理系统,其特征在于,所述用于配置全局信息,包括:
配置与数据仓库交换数据的主机、数据库和/或文件传输协议的配置信息;
配置总控管理器的参数信息;
配置抽取容器作业模板,拷贝ETL数据流。
3.根据权利要求1所述的小微信贷租户数据仓库数据处理系统,其特征在于,所述用于给租户配置信息,包括:
配置租户基本信息、租户资源信息和ETL接口信息。
4.根据权利要求3所述的小微信贷租户数据仓库数据处理系统,其特征在于,所述用于动态下发接口任务,包括:
根据所述ETL接口信息,触发所述ETL接口处理的工作流。
5.根据权利要求1所述的小微信贷租户数据仓库数据处理系统,其特征在于,所述用于动态协调资源分配,包括:
从上游业务库系统获取资源使用状态,和/或从数据仓库主机中收集物理资源使用状态。
6.根据权利要求1所述的小微信贷租户数据仓库数据处理系统,其特征在于,所述将租户数据抽取到数据缓冲区,包括:
从所述租户数据池中获取数据库连接实例和ETL时间戳,调用ETL包,将租户数据抽取到数据缓冲区。
7.根据权利要求1所述的小微信贷租户数据仓库数据处理系统,其特征在于,所述用于聚合租户数据,包括:
操作数据存储层将租户数据聚合进行并行处理,所述租户数据聚合完成后向数据仓库表合并时,为所述租户数据申请合并任务锁。
8.一种电子设备,其特征在于,包括:
至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如权利要求1至7任一项权利要求所述的系统。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现如权利要求1至7中任一项权利要求所述的系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉神算云信息科技有限责任公司,未经武汉神算云信息科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910405548.7/1.html,转载请声明来源钻瓜专利网。