[发明专利]增量数据查询方法及装置、存储介质、电子设备

说明书

本公开涉及一种增量数据查询方法及装置、存储介质、电子设备。所述方法包括：建立Java数据库连接JDBC到源数据库的连接；获取查询参数，并根据所述查询参数的值，在所述源数据库中确定出本次增量数据查询的起始点，所述查询参数为自增参数；通过所述JDBC，从所述源数据库中获取在所述起始点之后写入的数据，作为增量数据；获取最后一条增量数据对应的查询参数的自增值，利用所述自增值更新所述查询参数的值，以便后续根据所述自增值，在所述源数据库中确定下次增量数据查询的起始点。如此，有助于提高增量数据查询方案的兼容性以及数据抽取性能。

技术领域

本公开涉及数据处理领域，具体地，涉及一种增量数据查询方法及装置、计算机可读存储介质、电子设备。

背景技术

在日常应用过程中，数据库随时都面临着大量的数据更新，例如，新增数据的插入、原有数据的修改、删除等。对于新增数据来说，目前大多采用以下五种方案进行增量数据处理：

方案一，在源表上建立插入触发器，当源表中出现新增数据时，可以通过插入触发器将新增数据写入增量日志表，这样，目标表便可通过增量日志表识别新增数据。如此方案，由于加入了插入触发器，对源系统有一定的侵入性，对源系统性能影响比较大。

方案二，全表删除插入。即，每次从源表进行新增数据抽取之前，先删除目标表数据，这样，在进行新增数据抽取时，便可加载全新的源表数据到目标表中。如此方案，由于每次都要删除并重新导入数据，致使数据抽取性能极差，不适合数据量大的情况。

方案三，全表比对。即，读取源表中所有的数据，并逐条与目标表中的数据进行对比，如果有新增数据，则可进行新增数据插入。如此方案，由于每次都要读取全新的源表数据，致使数据抽取性能较差，同样不适合数据量大的情况。

方案四，通过分析数据库自带的日志，如RDBMS(英文：Relational DatabaseManagement System，中文：关系数据库管理系统)系统日志，识别新增的数据。如此方案，实现难度较大，且不同的数据库需要采取不同的实现方案。

方案五，Oracle在数据库中引入了CDC(英文：Change Data Capture，中文：改变数据捕获)，CDC能够帮助识别源表自上次抽取之后发生变化的数据，可以将发生变化的数据保存到数据库的变化表中，这样，目标表可以通过变化表捕获发生变化的数据，作为新增数据抽取的依据。如此方案，只适用与Oracle9i以上的数据库，且实现难度较大。

综上所述，目前常用的增量数据处理方案均存在一定的缺陷性。

发明内容

本公开的目的是提供一种增量数据查询方法及装置、计算机可读存储介质及电子设备，有助于提高增量数据查询方案的兼容性以及数据抽取性能。

为了实现上述目的，第一方面，本公开提供一种增量数据查询方法，包括：

建立Java数据库连接JDBC到源数据库的连接；

获取查询参数，并根据所述查询参数的值，在所述源数据库中确定出本次增量数据查询的起始点，所述查询参数为自增参数；

通过所述JDBC，从所述源数据库中获取在所述起始点之后写入的数据，作为增量数据；

获取最后一条增量数据对应的查询参数的自增值，利用所述自增值更新所述查询参数的值，以便后续根据所述自增值，在所述源数据库中确定下次增量数据查询的起始点。

可选地，所述查询参数为所述源数据库中能够自增的参数，或者，所述查询参数为时间。

可选地，在所述建立Java数据库连接JDBC到源数据库的连接之前，所述方法还包括：

判断操作者是否具有访问所述源数据库的权限；