[发明专利]增量数据采集方法、装置及系统

权利要求书

1.一种增量数据采集方法，其特征在于，应用于增量数据采集设备，所述方法包括：

通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

2.根据权利要求1所述的增量数据采集方法，其特征在于，所述根据所述环境配置请求部署相应增量监听环境的步骤包括：

解析所述增量部署请求，获得增量监听规则；

根据所述增量监听规则部署相应的增量监听环境。

3.根据权利要求2所述的增量数据采集方法，其特征在于，所述增量监听规则包括目标数据存储设备、目标数据表和目标字段；所述根据所述增量监听规则部署相应的增量监听环境的步骤包括：

根据所述目标数据存储设备、目标数据表和目标字段部署增量监听环境。

4.根据权利要求3所述的增量数据采集方法，其特征在于，所述通过所述增量监听环境监听所述增量数据的步骤包括：

根据所述增量监听规则对所述增量数据进行清洗，进而过滤掉不符合规则的数据。

5.根据权利要求4所述的增量数据采集方法，其特征在于，所述方法还包括：

将所述增量数据推送到其他数据处理平台。

6.一种增量数据采集系统，其特征在于，所述增量数据采集系统包括客户端、至少一个数据存储设备和增量数据采集设备；

所述客户端提供增量配置界面，响应用户对数据存储设备增量配置操作，并发送增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

所述增量数据采集设备根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

所述增量数据采集设备获取所述增量部署请求，根据所述增量部署请求中的环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

7.一种增量数据采集装置，其特征在于，应用于增量数据采集设备，所述增量数据采集设备包括请求获取模块、设备配置模块和环境配置模块；

所述请求获取模块用于通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

所述设备配置模块用于根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

所述环境配置模块用于根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

8.根据权利要求7所述的增量数据采集装置，其特征在于，所述环境配置模块通过以下方式部署所述增量监听环境：

解析所述增量部署请求，获得增量监听规则；

根据所述增量监听规则部署相应的增量监听环境。

9.根据权利要求8所述的增量数据采集装置，其特征在于，所述增量监听规则包括目标数据存储设备、目标数据表和目标字段；所述环境配置模块还通过以下方式部署增量监听环境：

根据所述目标数据存储设备、目标数据表和目标字段部署增量监听环境。

10.根据权利要求8所述的增量数据采集装置，其特征在于，所述增量数据采集装置还包括数据推送模块；

所述数据推送模块用于将所述增量数据推送到其他数据处理平台。