[发明专利]一种根据数据资产动态生成宽表的方法及系统

说明书

本发明实施例公开了一种根据数据资产动态生成宽表的方法及系统，方法包括：获取原有数据资产，对原有数据资产进行分析，获取需要进行处理的数据；对数据根据逻辑进行拆分，存入宽表动态配置表；当检测到数据库处于空闲状态，则根据宽表动态配置表组装SQL；根据SQL创建对应的临时视图，将所有的临时视图进行聚合，生成宽表。本发明实施例的宽表生成数据时间点，在空闲时间参数据进行处理，服务器性能消耗小，实现无需修改代码，只需要增加数据库配置，就可以修改宽表的数据。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种根据数据资产动态生成宽表的方法及系统。

背景技术

随着互联网的发展，公司的数据资产越来越丰富和庞大，同时也带来了大量数据的冗余和雪花型的数据结构。数据资产是指由个人或企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源。具体来讲，数据资产是指以个人或企业的照片、文档、图纸、视频、数字版权等等以文件为载体的数据，相对于实物资产以数据形式存在的一类资产。数据资产被认为是数字时代的最重要的资产形式之一。

数据资产在使用和分析过程中，带来大量的性能消耗和多次连接组装数据。现有技术，即离线计算，在凌晨等空闲时间，将数据组合分析生成对应数据。

但是现有技术中的数据资产，生成数据时间太长，对服务器性能消耗大，如果对于数据资产不是很熟悉，则无法在众多的数据中找寻出自己目标数据，对专业性要求高。

因此现有技术还有待于进一步发展。

发明内容

针对上述技术问题，本发明实施例提供了一种根据数据资产动态生成宽表的方法及系统，能够解决现有技术中的数据资产生成数据时间太长，对服务器性能消耗大的技术问题。

本发明实施例的第一方面提供一种根据数据资产动态生成宽表的方法，包括：

获取原有数据资产，对原有数据资产进行分析，获取需要进行处理的数据；

对数据根据逻辑进行拆分，存入宽表动态配置表；

当检测到数据库处于空闲状态，则根据宽表动态配置表组装SQL；

根据SQL创建对应的临时视图，将所有的临时视图进行聚合，生成宽表。

可选地，所述获取原有数据资产，对原有数据资产进行分析，获取需要进行处理的数据，包括：

获取原有数据资产，对原有数据资产进行分析；

从原有数据资产中整理出需要进行处理涉及到的字段和表，将字段和表整理成一条SQL。

可选地，所述对数据根据逻辑进行拆分，存入宽表动态配置表，包括：

将整理后的SQL根据字段、源表、关联表和过滤条件分别进行拆分，生成不同拆分条件对应的SQL文件；

将SQL文件存入对应的拆分条件对应的宽表动态配置表。

可选地，所述当检测到数据库处于空闲状态，则根据宽表动态配置表组装SQL，包括：

当检测到数据库处于空闲状态，则依次选择字段列表、条件列表和分组，生成配置文件；

将配置文件发送给后台，后台生成组装后的SQL文件。

可选地，所述根据SQL创建对应的临时视图，将所有的临时视图进行聚合，生成宽表，包括：

从后台获取组装后的SQL文件至web页面，根据SQL文件创建对应的临时视图；

将所有的临时视图在数据仓库上聚合，生成宽表。