[发明专利]从数据库抽取数据的方法和装置

说明书

本发明提供一种灵活性好，资源利用率高的从数据库抽取数据的方法和装置。本发明的从数据库抽取数据的方法，包括：按照预设轮询周期定期地获取数据库当前平均数据记录数值，当前平均数据记录数值表示单位时间内该数据库中出现的数据记录的数量；根据当前平均数据记录数值确定数据抽取周期；根据数据抽取周期执行从所述数据库中抽取数据操作。

技术领域

本发明涉及一种计算机以及软件技术领域，具体涉及从数据库抽取数据的方法和装置。

背景技术

数据抽取是指从源数据系统(业务系统)的数据库抽取数据，并将数据加载到目标系统中去以满足后续的各类数据应用的过程。目前的数据抽取方法大部分都是固定周期进行抽取。所谓固定周期，也可以理解为固定频率，是指在固定的时间对数据进行抽取，常见的有按天或者按小时采用T+1方式进行抽取。其中，按天T+1抽取可以理解为在当天抽取前一天发生数据，按小时T+1抽取可以理解为当前一小时抽取前一小时发生的数据。

按照固定时间间隔抽取数据具有不够灵活的弊端。特别针对电商这种业务变化快，业务系统数据时间量分布不规律更加不适应。以电商的订单数据举例，在节假日期间，订单的业务数量是很小的，但是在重大促销日里的数据量很大，如果始终按照一种时间间隔固定抽取进行抽取容易造成如下问题：

(1)空闲资源的浪费，在数据量小时的时候如果选择按较小周期进行抽取会造成资源的大量浪费。

(2)在数据量特别大的固定按较大周期抽取，容易因为大量数据积压，同一时间处理的数据量太大，造成数据处理周期长，并且有可能引发数据抽取故障。

发明内容

有鉴于此，本发明提供一种灵活性好，资源利用率高的从数据库抽取数据的方法和装置。

为实现上述目的，根据本发明的一个方面，提供了一种从数据库抽取数据的方法。

本发明的从数据库抽取数据的方法，包括：按照预设轮询周期定期地获取数据库当前平均数据记录数值，所述当前平均数据记录数值表示单位时间内该数据库中出现的数据记录的数量；根据所述当前平均数据记录数值确定数据抽取周期；根据所述数据抽取周期执行从所述数据库中抽取数据操作。

可选地，所述按照预设轮询周期定期地获取数据库当前平均数据记录数值的步骤包括：按照预设轮询周期定期地获取未被抽取数据记录的数量；获取历史最近抽取操作时刻至当前时刻之间的时间长度；将所述未被抽取数据记录的数量除以所述时间长度，以得到所述当前平均数据记录数值。

可选地，所述根据所述当前平均数据记录数值确定数据抽取周期的步骤包括：设置多段平均数据数值预设范围以及各段平均数据数值预设范围分别对应的多档数据抽取预设周期；确定所述当前平均数据记录数值对应的所述平均数据数值预设范围；将所述对应的平均数据数值预设范围对应的所述数据抽取预设周期作为所述数据抽取周期。

可选地，所述预设轮询周期小于所述数据抽取周期。

为实现上述目的，根据本发明的另一个方面，提供了一种从数据库抽取数据的装置。

本发明的从数据库抽取数据的装置，包括：获取模块，用于按照预设轮询周期定期地获取数据库当前平均数据记录数值，所述当前平均数据记录数值表示单位时间内该数据库中出现的数据记录的数量；确定模块，用于根据所述当前平均数据记录数值确定数据抽取周期；抽取模块，用于根据所述数据抽取周期从所述数据库中当前的抽取数据操作。

可选地，所述获取模块还用于：按照预设轮询周期定期地获取未被抽取数据记录的数量；获取历史最近抽取操作时刻至当前时刻之间的时间长度；将所述未被抽取数据记录的数量除以所述时间长度，以得到所述当前平均数据记录数值。