[发明专利]一种主动式异构数据采集器

权利要求书

1.一种主动式异构数据采集器，其特征在于：包括数据采集模块、元数据处理器、数据写入模块和储存单元，所述数据采集模块与所述元数据处理器连接，所述数据写入模块与所述元数据处理器连接，所述数据写入模块与所述储存单元连接，所述数据采集模块用于采集数据库的数据，所述元数据处理器用于将所述数据采集模块采集的数据进行转换处理，所述数据写入模块用于将所述元数据处理器转换后的数据进行读取，并将读取的数据写入储存单元，所述数据采集模块和所述数据写入模块均采用脚本配置，所述数据采集模块包括多个plugin模块。

2.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述数据采集模块设置有字段解析模块、第一语法解析模块和数据过滤模块，所述字段解析模块、第一语法解析模块均与所述数据过滤模块连接。

3.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述数据写入模块设置有数据封装模块、第二语法解析模块和数据脱敏保全过滤模块，所述数据封装模块、第二语法解析模块均与所述数据脱敏保全过滤模块连接。

4.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述元数据处理器包括执行元件、流控控制元件、并发控制元件和数据转换元件，所述执行元件、所述流控控制元件、所述并发控制元件和所述数据转换元件依次连接，所述并发控制元件包括多个task单元和多个TaskGroup单元，所述TaskGroup单元用于启动task单元，所述task单元用于数据同步。

5.根据权利要求4所述的一种主动式异构数据采集器，其特征在于：所述流控控制元件包括Scheduler模块，所述Scheduler模块用于调度所述TaskGroup单元。

6.根据权利要求4所述的一种主动式异构数据采集器，其特征在于：所述并发控制元件包括通道并发、记录流、字节流三种流控模式。

7.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述储存单元访问需要账号和密码，且所述储存单元可指定连接用户读写指定所述储存单元内储存的数据库表权限，所述数据写入模块还包括加密模块，所述加密模块用于将写入所述储存单元内部的数据进行加密储存。

8.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述数据采集模块采集数据库时只需配置SOL或接入数据库的表名、列表。

9.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述主动式异构数据采集器还包括监视模块，所述监视模块用于检测主动式异构数据采集器的数据流量、数据速度和执行进度。

10.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述主动式异构数据采集器还设置有自动转换模块，用户可根据自动转换模块内部的groovy函数可自定义自动转换模块内部的转换公式。