[发明专利]增量数据采集方法、装置及系统

说明书

本申请提供的增量数据采集方法、装置及系统，通过提供一个可视化的配置界面。用户在所述配置界面输入需要监听的数据库，以及数据库中的表和字段。增量数据采集设备获取该配置请求，根据所述配置请求部署相应的增量监听环境，同时根据所述配置请求，配置相应的数据库，使得所述数据库在发生增量事件时，发送相应的增量数据。所述增量监听环境获取所述增量数据，并对所述增量数据做进一步的处理。本申请公开的技术方案使得用户只需要在配置界面进行简单的配置操作就可以对数据库的增量事件进行监听。降低了用户的使用门槛，提高了工作效率。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种增量数据采集方法、装置及系统。

背景技术

实时监控数据库中数据的变化，并获得产生变化的增量数据，并对所述增量数据进行分析，探索数据变化中的变化规律。目前用户配置增量监听环境繁琐复杂，对用户的技术水平有一定要求，不适合普通用户使用。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种增量数据采集方法，应用于增量数据采集设备，所述方法包括：

通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

可选地，所述根据所述环境配置请求部署相应增量监听环境的步骤包括：

解析所述增量部署请求，获得增量监听规则；

根据所述增量监听规则部署相应的增量监听环境。

可选地，所述增量监听规则包括目标数据存储设备、目标数据表和目标字段；所述根据所述增量监听规则部署相应的增量监听环境的步骤包括：

根据所述目标数据库、目标数据表和目标字段部署增量监听环境。

可选地，所述通过所述增量监听环境监听所述增量数据的步骤包括：

根据所述增量监听规则对所述增量数据进行清洗，进而过滤掉不符合规则的数据。

可选地，所述方法还包括：

将所述增量数据推送到其他数据处理平台。

本申请的另一目的在于提供一种增量数据采集系统，所述增量数据采集系统包括客户端、至少一个数据存储设备和增量数据采集设备；

所述客户端提供增量配置界面，响应用户对数据存储设备增量配置操作，并发送增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

所述增量数据采集设备根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

所述增量数据采集设备获取所述增量部署请求，根据所述增量部署请求中的环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

本申请的另一目的在于提供一种增量数据采集装置，应用于增量数据采集设备，所述增量数据采集设备包括请求获取模块、设备配置模块1102和环境配置模块；

所述请求获取模块用于通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；