[发明专利]一种海量数据处理方法和系统

权利要求书

1.一种海量数据处理方法，其特征在于，包括：

调度模块根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序；

调度模块根据所述调用顺序向数据仓库平台调用数据仓库操作语句；

数据仓库平台从关系数据库中读取所述数据仓库对应的配置信息；

数据仓库平台根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台。

2.根据权利要求1所述的海量数据处理方法，其特征在于，所述生成结果文件并存储到所述分布式平台之后，还包括：

调度模块控制所述分布式平台将所述结果数据导入所述关系数据库；

调度模块控制缓存模块根据预设的展现策略从所述关系数据库中抽取常用的结果数据；

数据展现平台从所述缓存模块中读取并展现所述常用的结果数据。

3.根据权利要求2所述的海量数据处理方法，其特征在于，所述数据展现平台从所述缓存模块中读取并展现所述常用的结果文件之后，还包括：

数据展现平台从所述关系数据库中读取并展现所述结果数据。

4.根据权利要求1至3中任意一项所述的海量数据处理方法，其特征在于，所述调度模块根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句之前，还包括：

数据接入平台向分布式平台传输至少一次数据；

当每次传输完成时，数据接入平台向消息接口模块发送数据传输完成消息；

所述调度模块从所述消息接口模块获取至少一次所述数据传输完成消息，作为所述当前业务信息。

5.根据权利要求4所述的海量数据处理方法，其特征在于，所述数据接入平台向消息接口模块发送数据传输完成消息包括：

所述数据接入平台采用谷歌消息传输方案protoBuffer通讯方式向消息接口模块发送所述数据传输完成消息。

6.一种海量数据处理系统，其特征在于，包括：

调度模块，用于根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，根据所述调用顺序向数据仓库平台调用数据仓库操作语句；

所述数据仓库平台，用于从关系数据库中读取所述数据仓库对应的配置信息，根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台；

所述关系数据库，用于存储所述数据仓库操作语句对应的配置信息；

分布式平台，用于存储所述数据和所述结果数据。

7.根据权利要求6所述的海量数据处理系统，其特征在于，

所述调度模块还用于控制所述分布式平台将所述结果数据导入所述关系数据库，控制缓存模块根据预设的展现策略从所述关系数据库中抽取常用的结果数据；

所述系统还包括：

所述缓存模块：用于缓存所述常用的结果数据；

数据展现平台，用于从所述缓存模块中读取并展现所述常用的结果数据。

8.根据权利要求7所述的海量数据处理系统，其特征在于，

所述数据展现平台还用于从所述关系数据库中读取并展现所述结果数据。

9.根据权利要求6或8中任意一项所述的海量数据处理系统，其特征在于，所述系统还包括：

数据接入平台，用于向分布式平台传输至少一次数据，当每次传输完成时，向消息接口模块发送数据传输完成消息；

所述消息接口模块，用于接收所述数据传输完成消息；

所述调度模块，还用于从所述消息接口模块获取至少一次所述数据传输完成消息，作为所述当前业务信息。

10.根据权利要求9所述的海量数据处理系统，其特征在于，

所述数据接入平台具体用于采用谷歌消息传输方案protoBuffer通讯方式向消息接口模块发送所述数据传输完成消息。