[发明专利]用于海量数据管理的数据处理方法和系统

权利要求书

1.一种用于海量数据管理的数据处理方法，其特征在于，包括：

A，设置多个数据加载装置的步骤，通过二维表结构管理不同类型的字段创建不同类型的索引，并以并发方式向通过网络连接的至少一个数据存储服务器加载索引数据源，实现数据加载与维护操作；

B，设置元数据管理装置的步骤，用于记录由所述数据加载装置生成的索引分片的分布信息，记录并更新所述数据存储服务器的状态信息，以及记录所述索引分片与所述数据存储服务器的对应关系；

C，在所述数据存储服务器上设置数据管理服务装置的步骤，用于存储、管理所述索引分片，并根据检索命令并发检索索引分片，并向所述元数据管理装置报告工作状态。

2.根据权利要求1所述数据处理方法，其特征在于，还包括：设置多个数据检索装置的步骤，用于实现多机协同、多层次、不同粒度的数据并发检索。

3.根据权利要求1所述数据处理方法，其特征在于，还包括：所述索引分片由所述数据加载装置独立生成，构成进行调度、负载均衡和并发检索的基本单元。

4.根据权利要求3所述数据处理方法，其特征在于，还包括：所述索引分片之间根据时间顺序排序；所述索引分片内部根据字典序排序。

5.根据权利要求2所述数据处理方法，其特征在于，所述数据检索装置至少设置二个层次数据过滤机制，和/或二个层次数据汇总机制。

6.根据权利要求5所述数据处理方法，其特征在于，所述二个层次数据过滤机制，包括：

第一级过滤机制是根据检索命令，通过所述元数据管理装置过滤特定的数据存储服务器列表，并发地向过滤后的检索服务器发送检索命令；

第二级过滤机制是所述数据存储服务器根据检索命令，过滤本地索引分片，符合条件的索引分片并发的执行检索操作。

7.根据权利要求5所述数据处理方法，其特征在于，所述二个层次数据汇总机制，包括：

所述数据存储服务器汇总多个索引分片的并发检索后结果；

所述数据检索装置汇总多个所述数据存储服务器返回的初次汇总结果。

8.一种用于海量数据管理的数据处理系统，采用所述权利要求1至7中任意一种的数据处理方法，其特征在于，包括：

多个数据加载装置通过二维表结构，为不同类型的字段创建不同类型的索引，并通过网络连接的至少一个数据存储服务器加载索引数据源，实现数据加载与维护操作；

元数据管理装置，用于记录由所述数据加载装置生成的索引分片的分布信息，记录并更新所述数据存储服务器的状态信息，以及记录所述索引分片与所述数据存储服务器的对应关系；

数据存储服务器，还包括数据管理服务装置，用于存储、管理所述索引分片，并根据检索命令并发索引分片，并向所述元数据管理装置报告工作状态。

9.根据权利要求8所述数据处理系统，其特征在于，还包括：多个数据检索装置，用于实现多机协同、多层次、不同粒度的数据并发检索。

10.根据权利要求9所述数据处理系统，其特征在于，当有新的数据存储服务器加入时，所述数据管理服务装置向所述元数据管理装置报告状态变更信息，所述元数据管理装置把新的数据存储服务器加入到可用服务器列表中，并开始接下来的存储调度和定期心跳机制检查中。