[发明专利]小微信贷租户数据仓库数据处理系统及设备

说明书

本发明实施例提供了一种小微信贷租户数据仓库数据处理系统及设备。所述系统包括：全局配置层与总控制管理层连接，配置全局信息；租户配置层与总控制管理层连接，给租户配置信息；总控制管理层与租户数据池连接，下发接口任务和协调资源分配；租户数据池与ETL租户抽取层连接，给租户分配内存管理区域、从总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；ETL租户抽取层与数据仓库数据合并层连接，抽取租户数据至数据缓冲区；数据仓库数据合并层与数据接口分离层连接，聚合租户数据；数据接口分离层与数据权限控制层连接，使在线分析处理OLAP查询租户数据；数据权限控制层设定租户权限。本发明可以确保数据仓库数据处理的稳定、安全与高效。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种小微信贷租户数据仓库数据处理系统及设备。

背景技术

目前，随着小微信贷业务的发展，租户数量随之增加，数据量增长明显。数据仓库的设计需要确保单租户的数据处理的独立性、及时性、数据容错、数据回溯以及数据诊断。数据安全访问对于企业来说至关重要，业务系统数据都是集中在一个实体上的，数据仓库必须按照租户数据分离的方式处理，以确保每个租户运营快速决策的运营需要。数据安全也至关重要，如果一个租户获取到另外一个租户的客户信息，对于企业的经济损失是无法评估的。同时，数据处理任务不能很好的分离，会导致多个任务访问同一张表，DML(Datamanipulation language，数据操作语言)语句的互锁以及死锁概率增大，导致数据库的稳定性、数据处理高效性受到影响。因此，找到一种使数据仓库中数据高效、稳定、安全处理的方法，就成为业界亟待解决的技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种小微信贷租户数据仓库数据处理系统及设备。

第一方面，本发明的实施例提供了一种小微信贷租户数据仓库数据处理系统，包括：全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层；

所述全局配置层，与所述总控制管理层连接，用于配置全局信息；所述租户配置层，与所述总控制管理层连接，用于给租户配置信息；所述总控制管理层，与所述租户数据池连接，用于动态下发接口任务和动态协调资源分配；所述租户数据池，与所述ETL租户抽取层连接，用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；所述ETL租户抽取层，与所述数据仓库数据合并层连接，用于将租户数据抽取到数据缓冲区；所述数据仓库数据合并层，与所述数据接口分离层连接，用于聚合租户数据；所述数据接口分离层，与数据权限控制层连接，用于使在线分析处理OLAP查询租户数据；所述数据权限控制层，用于设定租户权限；其中，所述ETL为数据提取、转换和加载的过程。

进一步地，在上述系统实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理系统，所述用于配置全局信息，包括：配置与数据仓库交换数据的主机、数据库和/或文件传输协议的配置信息；配置总控管理器的参数信息；配置抽取容器作业模板，拷贝ETL数据流。

进一步地，在上述系统实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理系统，所述用于给租户配置信息，包括：配置租户基本信息、租户资源信息和ETL接口信息。

进一步地，在上述系统实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理系统，所述用于动态下发接口任务，包括：根据所述ETL接口信息，触发所述ETL接口处理的工作流。

进一步地，在上述系统实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理系统，所述用于动态协调资源分配，包括：从上游业务库系统获取资源使用状态，和/或从数据仓库主机中收集物理资源使用状态。