[发明专利]一种数据存储系统及其存储方法

说明书

本申请公开了一种数据存储系统及其存储方法，其中存储系统包括：数据采集单元、数据处理单元、数据存储单元、数据应用单元和展示单元；数据采集单元，用于从业务子系统中采集子系统数据；数据处理单元，用于将子系统数据进行预处理，得到预处理数据，并将预处理数据通过预置接口发送至数据存储单元；数据存储单元上搭建有Kylin集群，且数据存储单元中的存储数据库包括MySQL；数据存储单元，用于通过Kylin集群构建预处理数据的多维度表，并将预处理数据及通过Kylin集群预查询计算的结果数据存储至MySQL；数据应用单元，用于根据多维度表和MySQL中存储的结果数据，构建应用程序；展示单元，用于展示应用程序、预处理数据、多维度表和结果数据。

技术领域

本申请涉及数据库领域，尤其涉及一种数据存储系统及其存储方法。

背景技术

数据，是现代互联网发展的重要产物。随着企业的业务发展，大量数据分散在各子业务系统中，数据体量不断增大，隐藏的数据价值也随之增加。如何进行大规模数据的存储是研究人员的关注热点。

目前较为通用的大规模数据的存储系统是基于HBase+SparkSQL的系统，本系统的底层是Hadoop生态系统，通过在HBase上使用SparkSQL大规模数据计算引擎，兼容并优化了Hive的查询性能。本系统中SparkSQL是将数据读入到内存，通过内存来提高查询和计算性能。如果数据可以基本读入至内存，Spark的内存缓存会让SparkSQL有好的表现。然而对于超大规模的数据，Spark频繁的磁盘读写时性能会大幅下降。

发明内容

本申请提供了一种数据存储系统及其存储方法，解决了现有的数据存储系统对于超大规模的数据，Spark频繁的磁盘读写时性能会大幅下降的技术问题。

有鉴于此，本申请第一方面提供了一种数据存储系统，包括：数据采集单元、数据处理单元、数据存储单元、数据应用单元和展示单元；

所述数据采集单元，用于从业务子系统中采集子系统数据；

所述数据处理单元，用于将所述子系统数据进行预处理，得到预处理数据，并将所述预处理数据通过预置接口发送至数据存储单元；

所述数据存储单元上搭建有Kylin集群，且所述数据存储单元中的存储数据库包括MySQL；

数据存储单元，用于通过所述Kylin集群构建所述预处理数据的多维度表，并将所述预处理数据及通过所述Kylin集群预查询计算的结果数据存储至MySQL；

数据应用单元，用于根据所述多维度表和所述MySQL中存储的所述结果数据，构建应用程序；

展示单元，用于展示所述应用程序、所述预处理数据、所述多维度表和所述结果数据。

可选地，所述子系统数据包括：业务数据、服务日志、埋点数据、外部爬虫数据。

可选地，所述数据处理单元包括：

预处理子单元，用于将所述子系统数据进行转换、清洗和汇总，得到所述预处理数据；

发送子单元，用于将所述预处理数据通过预置接口发送至所述存储计算单元。

可选地，所述预处理单元，具体用于实时地将所述子系统数据进行转换、清洗和汇总，得到所述预处理数据。

可选地，所述预处理单元通过ETL工具获取所述子系统数据。

可选地，所述Kylin集群，还用于，响应于用户输入的查询请求，从所述MySQL中获取所述查询请求对应的查询数据。

可选地，所述展示单元，还用于将所述查询数据以报表的形式进行展示。

可选地，所述数据存储单元中的存储数据库还包括：Spark数据库；