[发明专利]一种基于ROWID的Oracle数据批量采集方法

权利要求书

1.一种基于ROWID的Oracle数据批量采集方法，其特征在于，该方法通过JDBC接口与Oracle数据库交互，使用ROWID来生成批量SQL语句，每条SQL语句负责采集数据库表中的一部分数据，所有SQL语句采集的数据集合即为完整数据。

2.根据权利要求1所述的方法，其特征在于，该方法的操作步骤如下：

步骤1）通过JDBC接口获取ROWID；

步骤2）使用ROWID生成批量不同的SQL语句；

步骤3）对批量生成的SQL语句进行分发；

步骤4）获取到分发的SQL语句后，执行SQL语句，获取结果集；

步骤5）获取到分发的SQL语句后，将数据写入新的存储系统。

3.根据权利要求2所述的方法，其特征在于，所述的步骤1）中，通过JDBC接口查询每条SQL起始的ROWID来生成SQL语句。

4.根据权利要求3所述的方法，其特征在于，所述的生成的SQL语句每条采集n万条数据，然后对ROWID进行排序，并获取第1条、第n+1、第2n+1…条ROWID。

5.根据权利要求4所述的方法，其特征在于，所述的获取ROWID的SQL语句采用并行模式执行，通过JDBC执行此SQL语句，结果集为一个有序的ROWID队列。

6.根据权利要求2所述的方法，其特征在于，所述的步骤2）中SQL语句数量等于ROWID队列长度。

7.根据权利要求2所述的方法，其特征在于，所述的步骤3）中批量生成的SQL语句分发到不同的线程、进程或服务器节点上去分布式并行执行。

8.根据权利要求7所述的方法，其特征在于，将所述的批量生成的SQL语句写入Kafka主题中，所有负责数据采集的节点使用相同的groupID消费数据，完成SQL语句分发。

9.根据权利要求2所述的方法，其特征在于，所述的步骤4）中所述的分发的SQL语句被各数据采集节点获取后，通过JDBC方式执行SQL语句，获取的结果集即为采集的数据。

10.根据权利要求2所述的方法，其特征在于，所述的步骤5）中所有获取数据后的数据采集节点将数据写入到同一个数据存储地址，完成数据汇总。