[发明专利]一种多库定时执行报表数据预处理及查询方法、系统

说明书

本发明公开了一种多库定时执行报表数据预处理及查询方法、系统，包括：S1：设有多个MySQL数据库，各MySQL数据库根据不同数据源分别构建对应的报表数据模型，获取最终需要展示的报表数据；S2：预先部署NoSQL数据库；设有Logstash配置文件、Elasticsearch索引表、Redis缓存，logstash配置文件中链接各MySQL数据库，通过多库链接接收各报表数据模型输出的报表数据，导入到所述Elasticsearch索引表中，以及写入Redis缓存中；S3：利用Logstash配置文件执行报表数据的定时发布，利用Elasticsearch索引表中对Redis缓存中的数据报表进行定向查询。本发明设置多库定时执行报表数据预处理后，极大的减少了查询的数据量以及计算量，针对需要的模型，更加准确的获取数据，极大的提高了索引的命中率，使预处理的流程更简洁更快。

技术领域

本发明涉及数据查询技术领域，尤其涉及一种多库定时执行报表数据预处理及查询方法、系统。

背景技术

近几年来，由于数据在互联网领域的持续增长，第三方电商平台以及在电商平台上的各商户都面临数据处理需求。本申请发明人发现，针对第三方电商平台以及各商户的报表展示需求，由于报表数据的统计，对报表的查询性能有较高要求。然而现有技术中，大多是在获取不同数据源的原始数据后，再获取报表，且每天获取报表需要在不同电商平台查看，不利于为公司决策提供支持。

发明内容

本申请实施例通过提供一种多库定时执行报表数据预处理及查询方法、系统，解决了现有技术中无法直接获取不同数据源的报表数据，以及每天需要分别查看不同数据源的报表数据的技术问题，实现了每天定时接收查看不同数据源的报表数据，以及将报表数据整合后，提高报表数据的条件搜索性能。

第一方面，本申请实施例提供了一种多库定时执行报表数据预处理及查询方法，沿数据流方向依次包括基础数据层、数据服务层以及数据应用层，所述方法包括步骤：

S1：所述基础数据层中设有多个MySQL数据库，各所述MySQL数据库根据不同数据源分别构建对应的报表数据模型，并对应连接数据源，用于分别采集各数据源中的原始数据；利用所述报表数据模型中的分层技术，对各原始数据进行包括清洗、降维、计算在内的预处理后，获取最终需要展示的报表数据；

S2：所述数据服务层中设有服务器，所述服务器与各所述MySQL数据库连接；通过所述服务器预先部署NoSQL数据库，以接口服务化方式的对外提供数据服务；所述NoSQL数据库中设有Logstash配置文件、Elasticsearch索引表以及Redis缓存，所述logstash配置文件中链接所述基础数据层中的各所述MySQL数据库，通过多库链接接收各所述报表数据模型输出的报表数据，导入到所述Elasticsearch索引表中，以及写入Redis缓存中；

S3：将所述数据应用层链接NoSQL数据库，利用所述Logstash配置文件执行报表数据的定时发布，以及利用所述Elasticsearch索引表中对所述Redis缓存中的数据报表进行定向查询。

进一步地，所述步骤S1中，所述报表数据模型中沿数据流方向依次包括STG层、ODS层、DWD层、DWS层以及DM层，

所述STG层为业务数据层，连接数据源，经过ETL进行包括抽取、转换、装载在内的采集操作，获取数据源中的原始数据；

所述ODS层为业务隔离层，获取所述STG层中的原始数据后，对原始数据进行压缩，并根据所述ODS层中预设的分区表存放原始数据；

所述DWD层按照报表数据的展示需求，对所述ODS层中各分区表中的原始数据进行包括清洗、转换、降维在内的处理，以使各分区表中的原始数据退化至报表数据的事实表；

所述DWS层基于所述DWD层处理后的数据，根据报表数据的展示需求，利用数据处理平台对事实表中的数据进行聚合处理，将相同主题的数据汇集到同一报表数据中，获取报表数据的维度表；