[发明专利]一种数据仓库的数据采集方法、装置及系统

说明书

本发明属于数据处理技术领域，涉及一种数据仓库的数据采集方法、装置及系统。该方法包括：定时检测与数据仓库连接的至少一个数据库服务器中预设的数据抽取事件是否被触发；在检测到任一所述数据库服务器中的数据抽取事件被触发时，抽取并存储该数据库服务器中的数据。该方法通过分别确定从每个数据库服务器抽取数据的触发事件，分散了执行数据抽取任务的时间，避免了由于数据抽取任务集中导致的数据仓库的服务器性能变差，还提高了数据采集的效率。

技术领域

本发明属于数据处理技术领域，涉及一种数据仓库的数据采集方法、装置及系统。

背景技术

数据仓库作为数据采集、数据加工和数据输出的工厂，支撑了数据分析、报表、挖掘等多种数据需求，发挥了数据驱动价值的作用。其中数据仓库从分布式数据库服务器采集数据是数据进入数据仓库的关键步骤，接入数据的质量和时效，直接影响到数据在数据仓库的加工和输出质量。

目前数据仓库的数据采集具有时间滞后性，为了采集前一天的所有数据，一般是在当天的24点以后，设置一个时间阀值，通过任务调度程序绑定一个数据抽取任务，每天从时间阀值开始执行数据抽取任务，从而从同一时刻开始抽取每个数据库服务器中的数据。

现有的数据仓库的数据采集方法具有时间滞后性，而且为了保障时效性，一般会并发抽取每个数据库服务器中的相同表格，这样能保证相同的表格在相差不多的时间点被抽取到数据仓库，进而为后续相同表格的合并，缩短等待的时间，但这样数据仓库的抽取任务比较集中，导致数据仓库的服务器资源的使用相对集中，会出现数据仓库的服务器性能变差的情况。

发明内容

本发明的目的是提出一种数据仓库的数据采集方法、装置及系统，以提高数据采集的效率，并避免由于数据抽取任务集中导致的数据仓库的服务器性能变差。

一方面，本发明实施例提供一种数据仓库的数据采集方法，包括：

定时检测与数据仓库连接的至少一个数据库服务器中预设的数据抽取事件是否被触发；

在检测到任一所述数据库服务器中的数据抽取事件被触发时，抽取并存储该数据库服务器中的数据。

另一方面，本发明实施例提供一种数据仓库的数据采集装置，包括：

数据抽取检测单元，用于定时检测与数据仓库连接的至少一个数据库服务器中预设的数据抽取事件是否被触发；

数据抽取存储单元，用于在检测到任一所述数据库服务器中的数据抽取事件被触发时，抽取并存储该数据库服务器中的数据。

再一方面，本发明实施例提供一种数据仓库的数据采集系统，包括数据仓库以及与所述数据仓库连接的至少一个数据库服务器，其中，

所述数据库服务器用于触发产生预设的数据抽取事件；

所述数据仓库配置有本发明任意实施例中提供的数据仓库的数据采集装置。

本发明实施例通过在数据仓库检测到任一所述数据库服务器中的数据抽取事件被触发时，抽取并存储该数据库服务器中的数据，以分别确定从每个数据库服务器抽取数据的触发时间，分散了执行数据抽取任务的时间，避免了由于数据抽取任务集中导致的数据仓库的服务器性能变差，还提高了数据采集的效率。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明实施例的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明第一实施例中提供的一种数据仓库的数据采集方法的实现流程图；

图2和图3均是本发明第二实施例中提供的一种数据仓库的数据采集方法的实现流程图；

图4是本发明第三实施例中提供的一种数据仓库的数据采集装置的结构示意图；