[发明专利]基于Hadoop分布式文件系统的表数据的有序管理方法以及系统

说明书

技术领域

本申请涉及一种基于Hadoop分布式文件系统（HDFS）的表数据的有序管理方法以及使用所述方法的系统，尤其涉及一种在Hadoop分布式文件系统（HDFS）中，对表数据进行分片管理和排序并生成索引数据，并且以文件的形式对所述表数据进行管理的方法和系统。

背景技术

在各种系统中，需要对海量数据进行管理，为此Hadoop技术得到了广泛的使用，可在Hadoop分布式文件系统（HDFS）中，存储海量的如日志、网页、URL等数据。通常，需要对这些数据进行以下的处理和操作：

1、在日志分析和问题追查程序中，人工查看其中的一条或多条数据；

2、批量读取数据；

3、按照特定顺序批量地遍历全部或部分数据，如遍历一个站点的全部URL；

4、按照键值聚合多路数据，并进行分析。

Bigtable/Hbase和Hive是两种典型的分布式数据存储系统。

其中，BigTable是Google设计的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据库。BigTable是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。但是，Bigtable/Hbase对于通常的离线数据处理来说，过于重型。为了支持实时读写，在Bigtable/Hbase技术中，需要搭建单独的tablet server集群，将数据从HDFS导入，因此，部署和维护的代价很大；同时，Bigtable/Hbase也没有对批量读写进行优化，因此性能上不及HDFS与MapReduce结合的方案。

Hive则是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，并且将SQL语句转换为MapReduce任务进行运行。但是，由于Hive更倾向于通用的数据仓库，需要将所有的查询转换为MapReduce任务，因此，造成较长的延时，无法满足人工查询的需求，也缺少根据键值对多路数据进行聚合的优化机制。

发明内容

本发明的目的在于提供一种基于Hadoop分布式文件系统（HDFS）的表数据的有序管理方法以及使用所述方法的系统，对表数据进行分片管理和排序并生成索引数据，并且以文件的形式对所述表数据进行管理，实现表数据的批量导入，并且可根据键值读取数据，从而构建轻量级的分布式全局有效的表格管理系统。

根据本发明的一方面，提供一种基于Hadoop分布式文件系统（HDFS）的表数据的有序管理方法，包括：接收待操作的表的名称和包括多个操作记录的批量数据，所述操作记录包括对表记录的操作的信息以及包括键值的操作数据；基于Hadoop，根据操作记录中的键值对所述批量数据进行抽样排序，并且生成分区标尺；基于Hadoop，根据操作记录中的键值和生成的分区标尺，对所述批量数据进行排序；基于Hadoop，对经排序的所述批量数据生成索引数据，每条索引包括操作记录的键值、存储有所述批量数据的文件名以及所述操作记录的偏移值；在HDFS系统的指定目录下以文件形式存储经排序的批量数据和生成的索引数据；将所述表的名称、存储有所述批量数据的文件的文件名、存储有所述索引数据的文件的文件名以及所述指定目录的路径数据发送给主服务器。

所述对表记录的操作可以是插入、修改以及删除中的一个。

优选地，所述基于Hadoop对经排序的所述批量数据生成索引数据的步骤包括：基于Hadoop，对经排序的所述批量数据生成抽样索引数据。

优选地，所述的方法还包括：向主服务器发送包括所述表的名称的路径数据请求，并且从主服务器接收包括所述表的路径数据的响应，其中，在所述接收的路径数据指示的目录下以文件形式存储经排序的批量数据和生成的索引数据。

优选地，所述的方法还包括：从主服务器接收操作结果；显示所述操作结果。