[发明专利]一种数据处理的方法和系统

权利要求书

1.一种数据处理的方法，包括：

获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

将预处理后的数据发送给云存储系统。

2.如权利要求1所述的方法，其特征在于：所述获取各数据分中心的历史数据包括：

监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

3.如权利要求1所述的方法，其特征在于：所述对获取到的数据进行预处理包括：

对所述数据进行统一处理和/或清理处理；

将处理后的数据打包生成数据文件。

4.如权利要求1-3任一项所述的方法，其特征在于：所述将预处理后的数据发送给云存储系统之后，还包括：

删除所述数据文件。

5.一种数据处理的系统，包括：

预处理模块，用于获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

接口模块，用于将预处理后的数据发送给云存储系统。

6.如权利要求5所述的系统，其特征在于：所述预处理模块包括：

第一单元，用于获取各数据分中心的历史数据和/或实时数据；

第二单元，用于对所述数据进行统一处理和/或清理处理；

第三单元，用于将处理后的数据打包生成数据文件。

7.如权利要求6所述的系统，其特征在于：

所述第一单元，具体用于监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

8.如权利要求5-7任一项所述的系统，其特征在于：

所述接口模块，还用于删除所述数据文件。

9.一种处理数据的方法，包括：

云存储系统接收数据分中心的数据；

通过多个采集模块并行采集所述数据，将所述数据写入云存储模块。

10.如权利要求9所述的方法，其特征在于：所述将所述数据写入云存储模块包括：

所述采集模块调用结构化查询语言接口、应用程序接口或接口导入命令将所述数据写入云存储模块。

11.一种云存储系统，包括：接口模块、多个采集模块和云存储模块，其中，

所述接口模块，用于接收各数据分中心的数据；

多个所述采集模块，用于并行采集所述接口模块接收的数据，将所述数据写入所述云存储模块。

12.如权利要求11所述的系统，其特征在于：

所述接口模块，接收到所述数据后还用于，根据各采集模块的负载状况，选择负载小于阈值的多个采集模块，通知选中的采集模块进行数据采集。

13.如权利要求11所述的系统，其特征在于：

所述接口模块，接收到所述数据后还用于，根据预置调度策略选择一个采集模块，将所述数据发送给该采集模块；由该采集模块将所述数据分发给所有的采集模块进行数据采集。