[发明专利]一种基于多系统的公共数据池生成方法、装置、设备、和可读存储介质

说明书

本发明公开了一种基于多系统的公共数据池生成方法、装置、设备和计算机可读存储介质，所述的基于多系统的公共数据池生成方法包括在各个系统中获取原始数据；对原始数据进行整合和清洗形成精简的可用数据；根据元数据对可用数据数据进行主题分类和集成，并生成层级维度数据模型；对层级维度数据模型进行整合，生成公共数据池。

技术领域

本发明涉及金融领域数据处理相关技术领域，特别涉及一种基于多系统的公共数据池生成方法、装置、设备和可读存储介质。

背景技术

随着大数据时代的来临，业务对数据的要求越来越高，而因为业务的分散和多样化，各种业务数据存储在不同的系统中。过去，在分散的系统 1中0都是通过手工方法或者利用脚本语言实现数据采集或者集成，但现有的技术方案对于结构复杂、业务数据多样的系统，无法快速在海量数据中按需快速获取相关数据，从而提高检索效率。同时由于各系统之间平台不同，使用的数据库类型也往往不尽相同，而用户所需数据往往来源于不同平台，存在跨系统查询时间长、步骤繁琐的问题。

发明内容

为了解决现有技术存在的缺陷，本发明公开了一种基于多系统的公共数据池生成方法、装置、设备和可读存储介质。

本发明所公开的基于多系统的公共数据池生成方法包括：

在各个系统中获取原始数据；

对原始数据进行整理和清洗形成精简的可用数据；

根据元数据对可用数据进行主题分类和集成，并生成层级维度数据模型；

对层级维度数据模型进行整合，生成公共数据池。

本发明所公开的基于多系统的公共数据池生成装置包括：

原始数据获取模块，用于在各个系统中获取原始数据；

数据清理模块，用于对原始数据进行整理和清洗形成精简的可用数据；

层级维度数据模型生成模块，用于根据元数据对可用数据进行主题分类和集成，并生成层级维度数据模型；

公共数据池生成模块，用于对层级维度数据模型进行整合，生成公共数据池。

本发明所公开的基于多系统的公共数据池生成设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行上述任一项方法的步骤。

本发明所公开的计算机存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现上述任一项方法的步骤。

上述所公开的基于多系统的公共数据池生成方法、装置、设备和可读存储介质的技术方案中公共数据池是按照业务场景的主题进行分类的，便于手工测试和自动化测试根据主题条件进行数据查询；对用户只提供一种数据库类型接口，解决了跨系统查询时间长和跨数据库类型查询配置及步骤繁琐的问题；另外，能够保持数据的时效性和可用性。

附图说明

图1是发明所公开的一种基于多系统的公共数据池生成方法流程图；

图2是本发明所公开的一种基于多系统的公共数据池生成装置示意图；

图3是本发明所公开的数据关系映射图；

图4是本发明所公开的一个实施例的示意图。

具体实施方式

为了对本发明所公开的基于多系统的公共数据池生成方法、装置、设备和可读存储介质有更加详细和深入的了解，在下面的内容中结合附图对具体的实施方式、所解决的具体技术问题和所取得的技术效果进行详细的说明。在不冲突的情况下,本发明的实施例以及实施例中的技术特征可以相互组合。

首先对本发明所公开的方案的原理进行说明。