[发明专利]一种数据处理方法及系统

权利要求书

1.一种数据处理系统，其特征在于，所述数据处理系统包括：

数据采集装置，用于获取数据源的最新数据数量，根据所述数据源的类型以及所述最新数据数量获取对应的数据采集方式，并根据所述数据采集方式对最新数据进行采集，其中，所述数据源的类型包括数据库服务器以及文件服务器；

数据调度装置，用于根据数据类型与数据处理装置的对应关系，将所述最新数据发送到对应的所述数据处理装置中；

多个数据处理装置，用于根据预设的数据处理方式对所述最新数据进行处理，其中，所述预设的处理方式包括规整运算以及数据统计；

数据调度装置，还用于根据数据中心的订阅内容，将与所述订阅内容对应的处理后的数据发送给所述数据中心。

2.如权利要求1的系统，其特征在于，所述数据处理装置还用于当接收到数据时，向数据监控装置发送监控请求，所述数据处理系统还包括：

所述数据监控装置，用于当接收到所述数据处理装置的监控请求时，对所述数据处理装置的数据异常情况进行实时监控。

3.如权利要求1的系统，其特征在于，所述根据所述数据源的类型以及所述所述最新数据数量获取对应的数据采集方式包括以下方式的其中之一或其任意组合：

根据预设的每次采集的数量确定采集的次数；

根据数据源的限制确定采集的任务数；

当所述数据类型为数据库数据时，若所述最新数据存在自增主键，则首先按数据增量方式进行采集；

当所述数据类型为文件数据时，根据文件修改的时间进行采集。

4.如权利要求1的系统，其特征在于，所述数据处理系统还包括：

数据解析装置，用于对所述采集装置采集的数据进行解析；

所述数据调度装置，用于根据数据类型与数据处理装置的对应关系，将所述解析后的最新数据发送到对应的数据处理装置中。

5.一种数据处理方法，其特征在于，所述数据处理方法包括：

采集装置获取数据源的最新数据数量，根据所述数据源的类型以及所述最新数据数量获取对应的数据采集方式，并根据所述数据采集方式对所述最新数据进行采集，其中，所述数据源的类型包括数据库服务器以及文件服务器；

数据调度装置根据数据类型与数据处理装置的对应关系，将所述最新数据发送到对应的数据处理装置中；

多个数据处理装置根据预设的数据处理方式对所述最新数据进行处理，其中，所述预设的处理方式包括规整运算以及数据统计；

所述数据调度装置根据数据中心的订阅内容，将与所述订阅内容对应的所述处理后的数据发送给所述数据中心。

6.如权利要求5的方法，其特征在于，当所述数据处理装置接收到数据时，所述数据处理装置向数据监控装置发送监控请求，所述数据处理方法还包括：

当所述数据监控装置接收到所述监控请求时，所述数据监控装置对所述处理处理装置的数据异常情况进行实时监控。

7.如权利要求5的方法，其特征在于，所述根据所述数据源的类型以及所述最新数据数量获取对应的数据采集方式包括以下方式的其中之一或其任意组合：

根据预设的每次采集的数量确定采集的次数；

根据数据源的限制确定采集的任务数；

当所述数据类型为数据库数据时，若所述最新数据存在自增主键，则首先按数据增量方式进行采集；

当所述数据类型为文件数据时，根据文件修改的时间进行采集。

8.如权利要求5的方法，其特征在于，所述数据处理方法还包括：

数据解析装置对所述采集装置采集的数据进行解析；

所述数据调度装置根据数据类型与数据处理装置的对应关系，将所述解析后的最新数据发送到对应的数据处理装置中。