[发明专利]基于数据节点的并行海量数据处理方法

摘要

本发明涉及一种基于数据节点的并行海量数据处理方法；本方法通过将海量数据存储到不同数据节点中的数据对象中，所述客户端可以同时通过不同的数据对象进行并行访问，提高了访问效率，实现了大容量、高性能的数据处理服务，并且构建了分布式数据库系统，提供一种利用分布式数据存储技术实现海量数据访问服务，形成基于数据节点的并行海量数据处理方法，本方法还基于IEC61970 GID标准和CORBA规范，支持丰富的聚集操作，满足数据处理的功能要求，提高开发效率，节约资源、降低开发和维护成本。

主权项

一种基于数据节点的并行海量数据处理方法，其特征在于，包括以下步骤：将数据信息压缩并封装到数据对象中，所述数据对象集数据压缩、存储和访问于一体，是数据处理的基本单元，所述数据对象对其封装的数据信息进行存储并提供访问接口，所述数据对象对海量数据进行分类存储，并对多个数据节点中的数据对象进行并行访问，每个所述数据对象对应一个数据库文件，对每个所述数据库文件预先分配存储空间；将海量数据根据实际的业务需求分为一系列的数据节点，包括根据可预测的数据访问频率的高低和数据量的大小，将访问频率高和数据量大的数据对象分配到不同的数据节点，所述数据节点为一组所述数据对象的集合，将需要同时获取的海量数据分别存放到不同的数据节点中，提供并行访问；客户端向总线发送数据访问命令时，所述总线根据请求的数据信息，向包含所需数据信息的数据对象并行的发送访问请求；数据对象调用本身的接口访问其内部存储的数据，进而获取数据或写入数据，最后将结果通过所述总线返回给客户端。