[发明专利]一种海量数据的处理方法

摘要

本发明涉及一种海量数据的处理方法，该方法将接口数据文件作为数据库的辅助表，采用表分区处理的方式进行存储，存储过程导入相关需要的数据，采用进程并行处理的机制，根据业务特点对不同的数据业务划分不同的主题，并对数据进行预处理，生成轻量级面向主题的汇总，然后在轻量级的汇总基础上进行重量级汇总。与现有技术相比，本发明采用进程并行处理得机制，使多个任务能异步执行，在存储方式上，采用对表划分分区的方式，在执行时分区之间互不影响，提高了执行效率。此设计方法有效的连接不同系统之间的数据接口，在各个不同的层面采用合适的策略，并使数据的查询的深度得到加强，效率得以提高。

主权项

1.一种海量数据的处理方法，其特征在于，该方法将接口数据文件作为数据库的辅助表，采用表分区处理的方式进行存储，存储过程导入相关需要的数据，采用进程并行处理的机制，根据业务特点对不同的数据业务划分不同的主题，并对数据进行预处理，生成轻量级面向主题的汇总，然后在轻量级的汇总基础上进行重量级汇总。