[发明专利]一种基于整合数据的数据查询方法及装置

说明书

本申请公开了一种基于整合数据的数据查询方法及装置。所述方法包括：在获取到业务需求时，进行数据采集；将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。采用本申请所提供的方案，可以基于业务需求对采集到的数据进行整合，使得整合后的数据能够适配于业务需求，从而在接收到与业务需求相关的查询指令后，可以基于与业务需求适配的整合后的数据响应查询指令，因此，被查询的数据能够适配于查询指令，提升了数据提取效率，也降低了数据提取失败的概率。

技术领域

本申请涉及数据分析技术领域，特别涉及一种基于整合数据的数据查询方法及装置。

背景技术

目前数据分析使用日益趋近场景化和专业化，但是数据分散在各部门或各系统中，数据形态各异、元数据各异，数据管理环境与分析工具脱节。且各种表关联关系复杂繁琐，因此，直接通过查询语句对各部门或各系统的数据进行提取时，且从海量的数据中提取数据的速率很低，因此，如何提供一种新的数据查询方式，使得被查询的数据更加符合业务需求，进而提升数据提取效率，是一亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种基于整合数据的数据查询方法及装置。

为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种基于整合数据的数据查询方法，包括：

在获取到业务需求时，进行数据采集；

将采集到的数据进行整合，以使整合后的数据适配于所述业务需求；

在接收到与所述业务需求相关的查询指令时，通过整合后的数据响应所述查询指令。

本申请的有益效果在于：可以基于业务需求对采集到的数据进行整合，使得整合后的数据能够适配于业务需求，从而在接收到与业务需求相关的查询指令后，可以基于与业务需求适配的整合后的数据响应查询指令，因此，被查询的数据能够适配于查询指令，提升了数据提取效率，也降低了数据提取失败的概率。

在一个实施例中，所述进行数据采集，包括：

从与本地连接的目标数据库中采集数据，其中，所述目标数据库为各个业务系统对应的数据库。

在一个实施例中，从与本地连接的目标数据库中采集数据，包括：

根据各个业务系统的运行特征，确定采集数据的时间节点，所述时间节点为进行数据采集时不影响业务系统运行的时间节点；

根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集。

本实施例的有益效果在于，进行数据采集工作时，会根据各个业务系统的运行特征，选择不影响业务系统运行的时间节点进行采集，从而避免影响各个业务系统运行，进而避免影响各个系统对应的日常业务工作的开展。

在一个实施例中，根据所述采集数据的时间节点从与所述时间节点对应的目标数据库中进行数据采集，包括：

确定本地是否存在采集的数据；

当本地不存在采集的数据时，对所述时间节点对应的目标数据库进行全量数据采集；

当本地存在采集的数据时，对所述时间节点对应的目标数据库采集与本地数据不同的增量数据，并将所述增量数据与本地数据进行合并。

本实施例的有益效果在于，当本地存在采集的数据时，只采集与本地数据不同的增量数据，然后将所述增量数据与本地数据进行合并即可，无需进行全量采集就能得到所有的数据，提升了数据的采集效率。

在一个实施例中，所述方法还包括：

对采集自不同的目标数据库中的数据进行比对；