[发明专利]一种负载均衡的空间数据处理系统

摘要

本发明涉及计算机系统领域，提供一种负载均衡的空间数据处理方法，包括S1获取原始数据；S2对经过S1步骤处理后的数据进行分布统计；S3根据所述分布统计结果，得出负载均衡的分区结果；S4将所述分区结果向拓扑结构中的每台计算服务器分发；S5所述拓扑结构中的每台计算服务器分别执行具体空间数据处理方法；S6通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据所述修正映射表修正全部局部结果，合并得出全局结果；S7将所述全局结果存储在空间数据库中。本发明还提供一种负载均衡的空间数据处理系统。本发明可有效平均分配处理器的计算负荷，提高设备利用率、降低计算时间。

主权项

一种负载均衡的空间数据处理系统，用于实现空间数据的并行分区处理达致负载均衡，其特征在于，所述负载均衡的空间数据处理系统包括：获取数据模块，用于获取原始数据，汇总原始数据，读取原始数据并加载到处理系统，将文本格式的原始数据处理为以每行为一条数据记录的文本格式，将非文本格式的原始数据处理为以链接方式与该条数据记录产生连接耦合；数据分布统计模块，用于对所述获取数据模块处理后的数据进行分布统计，得出分布统计结果；其中，对所述数据模块处理后的数据进行分布统计包括：按照预设的空间格栅大小，将全局数据空间分解为多个格栅，作为原子空间；利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定；智能分区计算模块，用于根据所述分布统计结果，得出负载均衡的分区结果；数据分发模块，用于将所述数据进行按照所述负载均衡的分区结果进行分发，拓扑结构中的每台计算服务器接收分发来的数据；分区处理模块，用于拓扑结构中的每台计算服务器将分别执行具体空间数据处理方法，得出各个分区的局部处理结果，并将其暂存；合并处理模块，用于通过具体空间数据处理方法及所述分区结果，得出各分区的处理结果修正映射表，根据修正映射表修正全部局部结果，合并得出全局结果；数据存储模块，用于将符合条件的所述全局结果存储在空间数据库中，不符合条件的所述全局结果通过调整参数后，再次重复所述获取数据模块、数据分布统计模块、智能分区计算模块、数据分发模块、分区处理模块、合并处理模块的处理过程，直到所述全局结果符合条件后，将所述全局结果存储在空间数据库中。