[发明专利]一种海量非结构化数据的数据存储方法

权利要求书

1.一种海量非结构化数据的数据存储方法，其步骤为：

1)设定一时间间隔T，将数据存储集群划分为多个分区，用于将同一时间间隔T内的记录存储到同一分区内；同时将每一分区划分为n个散列区；

2)对于每条非结构化记录，提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key；

3)根据每条记录的时间t，确定其要存储到的分区，然后根据该记录的关键信息key计算该记录在该分区中对应的散列区值；

4)根据步骤3)的计算结果，将属于同一个时间间隔且散列区值相同的记录写入同一个文件F中并统计该文件F的记录数，如果记录数大于设定阈值K，则在当前散列区中创建另一文件进行存储；

其中，所述散列区信息的表示方法为：n-n’，n’为散列区值；每一分区的散列区数量值n可调，当n值调整后，n-n’中的散列区值n’保持不变。

2.如权利要求1所述的方法，其特征在于，对于每一文件，提取其元数据信息并保存到元数据文件中；其中，所述元数据信息包括：文件所在的存储节点信息、文件所在的盘位信息、文件所在的分区信息和散列区信息、文件中的记录数信息、文件的创建时间。

3.如权利要求1或2所述的方法，其特征在于，根据公式abs(hash(key))％n＝n’计算所述散列区值n；即取所述关键信息key的哈希值的绝对值，再对绝对值取模操作，得到的余数作为n'。

4.如权利要求1或2所述的方法，其特征在于，所述关键信息key为记录所在源文件的文件名。

5.如权利要求1或2所述的方法，其特征在于，对每一文件创建一个或多个索引，然后将所建索引文件所在位置标记到该文件上。

6.如权利要求5所述的方法，其特征在于，设定一热点时间范围，对于属于该热点时间范围内的文件进行缓存，对于该热点时间范围之前的文件只缓存对应的索引文件。

7.如权利要求2所述的方法，其特征在于，当输入检索请求进行查询时，检索引擎根据检索请求中的时间间隔、散列区信息从所述元数据文件中查询符合输入信息的元数据信息，然后将属于同一个存储节点的文件发到对应的存储节点上并行执行检索请求，返回命中的记录。

8.如权利要求1或2所述的方法，其特征在于，每一所述文件具有一生命周期。