[发明专利]数据提取方法及装置、设备和存储介质

说明书

本发明公开了一种数据提取方法及装置、设备和存储介质，所述方法包括：根据数据查询信息，确定对应的维度属性和派生指标；根据所述维度属性和派生指标，在数据仓库中搜索对应的数据表；提取所述数据表中的数据。利用本发明实施例可实现数据仓库数据的自动提取。

技术领域

本发明涉及数据处理，尤其是涉及一种数据提取方法及装置、设备和存储介质。

背景技术

大数据通常是指那些无法在短时间内利用常规软件工具实现数据提取、管理和处理等的数据的集合。当今，随着移动互联网技术的快速发展，如何实现对海量数据的维护和应用，是摆在各行业企业管理者面前的一个重要课题，提高大数据在业务决策过程中的比重是提高企业市场竞争力的重要手段之一。

在针对大数据的处理中，“数据提取”对于企业的日常运营活动分析、相关数据分析、数据预测等，有着非常重要的作用。但是，由于受到技术水平发展的限制，目前的数据提取业务主要还是依赖大量的技术人员做开发工作，而非技术人员获取数据的成本偏高，时效性差。

举例来讲，目前常用的数据提取方案主要采取以下方式实现：

一种是基于查询query的数据查询方式，首先人工梳理好相应的计算逻辑，然后根据要提取的指标，写出对应的结构化查询语言(Structured Query Language，SQL)，提交到目标数据服务器中进行查询，等待查询结果的返回。

另一种数据提取方式是需要提前算好一些固定指标结果，并存储到类似存储引擎的系统中，当需要数据提取时，根据对应的筛选条件选择结果并返回。

前者的缺陷是，需要查询人员具备相关的技术知识背景和数据处理能力，因此是一种严重依赖人工的操作方式，并且从数据提取需求的提出到数据结果的返回需要一定时间，时效性不高。

后者的缺陷是，指标的计算结果需要提前进行计算，因而需要占用大量的存储和计算空间，且由于提前进行的计算并不能覆盖所有的计算逻辑，导致指标数据更新无法做到及时。

发明内容

有鉴于此，本发明提出一种方法及其装置、设备和计算机存储介质，用以解决目前数据提取方式严重依赖人工操作的问题。

第一方面，本发明提供一种数据提取方法，所述方法包括：

根据数据查询信息，确定对应的维度属性和派生指标；

根据所述维度属性和派生指标，在数据仓库中搜索对应的数据表；

提取所述数据表中的数据。

第二方面，本发明还提供一种数据提取装置，所述装置包括：

查询信息处理模块，用于根据数据查询信息，确定对应的维度属性和派生指标；

数据表搜索模块，用于根据所述维度属性和派生指标，在数据仓库中搜索对应的数据表；

数据提取模块，用于提取所述数据表中的数据。

第三方面，本发明还提供一种数据提取设备，其包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行如上所述的方法。

第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的方法。

利用本发明的实施例，用户只需要输入查询信息，后台将根据查询信息生成符合查询格式的维度属性和派生指标，并自动完成后续的生成取数SQL等一系列处理，可替代现有的人工ETL取数的日常工作，解放现有开发人员的生产力，提高获取数据的效率。

附图说明