[发明专利]一种主动式异构数据采集器

说明书

本发明涉及数据处理技术领域，尤其是指一种主动式异构数据采集器，将需要采集数据的数据库接入至本主动式异构数据采集器，数据采集模块和数据写入模块均采用脚本配置，通过脚本配置可适配不同的数据库，本发明的数据采集模块包括多个plugin模块，多个plugin模块可适配不同的数据库实现不同数据库之间的无缝连接，本发明的元数据处理器用于连接数据采集模块和数据写入模块，本发明可实现对不同的数据库进行采集，无需人为的进行数据关联即可对不同的数据库进行数据采集，数据写入模块可立即将转换之后的数据进行读取并写入储存单元内，不会占用元数据处理器的内存，使得元数据处理器可快速的处理数据。

技术领域

本发明涉及数据采集技术领域，尤其是指一种主动式异构数据采集器。

背景技术

随着企业信息化建设的过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其他经济、人为等因素的影响，导致企业在发展的过程中积累了大量采用不同储存方式的数据，并且各个数据库读取数据采用不同的方式，导致智能设备无法正常准确的采集数据，因此亟需一种能够实现在不同数据库采集数据的采集器。

发明内容

本发明针对现有技术的问题提供一种可在不同数据采集数据的主动式异构数据采集器。

为了解决上述技术问题，本发明采用如下技术方案：

本发明提供的一种主动式异构数据采集器，包括数据采集模块、元数据处理器、数据写入模块和储存单元，所述数据采集模块与所述元数据处理器连接，所述数据写入模块与所述元数据处理器连接，所述数据写入模块与所述储存单元连接，所述数据采集模块用于采集数据库的数据，所述元数据处理器用于将所述数据采集模块采集的数据进行转换处理，所述数据写入模块用于将所述元数据处理器转换的数据进行读取，并将读取的数据写入储存单元，所述数据采集模块和所述数据写入模块均采用脚本配置。

作为优选，所述数据采集模块设置有字段解析模块、第一语法解析模块和数据过滤模块，所述字段解析模块、第一语法解析模块均与所述数据过滤模块连接。

作为优选，所述数据写入模块设置有数据封装模块、第二语法解析模块和数据脱敏保全过滤模块。所述数据封装模块、第二语法解析模块均与所述数据脱敏保全过滤模块连接。

作为优选，所述元数据处理器包括执行元件、流控控制元件、并发控制元件和数据转换元件，所述执行元件、所述流控控制元件、所述并发控制元件和所述数据转换元件依次连接，所述并发控制元件包括多个task单元和多个TaskGroup单元，所述TaskGroup单元用于启动task单元，所述task单元用于数据同步。

作为优选，所述流控控制元件包括Scheduler模块，所述Scheduler模块用于调度所述TaskGroup单元。

作为优选，所述并发控制元件包括通道并发、记录流、字节流三种流控模式。

作为优选，所述储存单元访问需要账号和密码，且所述储存单元可指定连接用户读写指定所述储存单元内储存的数据库表权限，所述数据写入模块还包括加密模块，所述加密模块用于将写入所述储存单元内部的数据进行加密储存。

作为优选，所述数据采集模块采集数据库时只需配置SOL或接入数据库的表名、列表。

作为优选，所述主动式异构数据采集器还包括监视模块，所述监视模块用于检测采集器的数据流量、数据速度和执行进度。

作为优选，所述主动式异构数据采集器还设置有自动转换模块，用户可根据自动转换模块内部的groovy函数可自定义自动转换模块内部的转换公式。

本发明的有益效果：