[发明专利]基于海量数据的数据抽取方法和系统

权利要求书

1.一种基于海量数据的数据抽取方法，其中，包括：

通过SQL的条件语句，将指定数据源表中的数据分为动态源数据和静态源数据；

对所述静态源数据进行初始化处理，得到静态目标数据；

为所述动态源数据配置抽取任务，执行所述抽取任务抽取动态源数据，得到动态目标数据；

将所述静态目标数据和动态目标数据分别存储成对应的静态目标数据文件和动态目标数据文件，并入指定数据仓库。

2.如权利要求1所述的基于海量数据的数据抽取方法，其中，所述SQL的条件语句使用所述数据源表中的任意字段，所述条件语句设定的条件为与所述字段相匹配的条件。

3.如权利要求1所述的基于海量数据的数据抽取方法，其中，所述为所述动态源数据配置抽取任务，执行所述抽取任务的步骤具体为：

为所述动态源数据配置抽取任务，包括数据抽取方式和任务执行时间；

根据配置的数据抽取方式，按照任务执行时间执行所述抽取任务。

4.如权利要求3所述的基于海量数据的数据抽取方法，其中，在执行所述抽取任务之前，根据设定的条件，将符合静态源数据条件的动态源数据划分为静态源数据。

5.如权利要求1或3或4所述的基于海量数据的数据抽取方法，其中，在执行所述抽取任务得到动态目标数据后，将所述动态目标数据切分成多个动态目标数据分片，每个分片存储为一个动态目标数据分片文件。

6.如权利要求1所述的基于海量数据的数据抽取方法，其中，对所述静态源数据进行初始化处理之后，还包括对所述静态目标数据进行切片处理得到多个静态目标数据切片文件的步骤。

7.一种基于海量数据的数据抽取系统，其中，包括：

分类模块，用于根据SQL的条件语句，将指定数据源表中的数据分为动态源数据和静态源数据；

静态数据处理模块，用于对所述静态源数据进行初始化，得到静态目标数据；

动态数据处理模块，用于为所述动态源数据配置抽取任务，通过执行所述抽取任务，得到动态目标数据；和

数据存储模块，用于将所述静态目标数据和动态目标数据分别存储成对应的静态目标数据文件和动态目标数据文件，并入指定数据仓库。

8.如权利要求7所述的基于海量数据的数据抽取系统，其中，所述分类模块包括：

条件设定单元，用于设定区分动态源数据和静态源数据的条件；和

数据分类单元，用于根据所述设定的条件，将数据表中的数据分为动态源数据和静态源数据。

9.如权利要求7所述的基于海量数据的数据抽取系统，其中，所述动态数据处理模块包括：

任务配置单元，用于为所述动态源数据配置抽取规则，所述抽取规则包括动态源数据的抽取方式和抽取任务的执行时间；和

任务执行单元，用于根据所述抽取规则，执行所述抽取任务，得到动态目标数据。

10.如权利要求9所述的基于海量数据的数据抽取系统，其中，所述动态数据处理模块还包括：

数据转移单元，用于根据设定的条件，将符合静态源数据条件的动态源数据划分为静态源数据。

11.如权利要求7所述的基于海量数据的数据抽取系统，其中，所述数据存储模块包括：

切片单元，用于将所述静态目标数据或动态目标数据切分为多个对应的静态目标数据切片或动态目标数据切片；

文件存储单元，用于将得到的静态目标数据存储为成对应的静态目标数据文件，或将静态目标数据切片存储为静态目标数据切片文件，或将抽取的动态目标数据存储为动态目标数据文件，或将动态目标数据切片分别存储成对应的动态目标数据切片文件；和

存储单元，与所述文件存储单元相连接，用于将所述静态目标数据文件或静态目标数据切片文件，和动态目标数据文件或动态目标数据切片文件并入指定数据仓库。