[发明专利]一种面向科学大数据的索引生成方法和检索方法

说明书

本发明涉及一种面向科学大数据的索引生成方法和检索方法，包括以下步骤：根据各个数据块的热度确定其中若干个数据块为热点数据块；根据热点数据块的连续情况将热点数据块和与该热点数据块邻近的数据块进行合并；根据合并后的数据块生成数据索引或更新原有的数据索引。本发明既可以防止数据块太大而导致检索时过多冗余信息进入磁盘而增加数据过滤的开销，又可以防止数据块太小而导致检索时增加磁盘访存的开销，更加充分利用计算机的计算资源，大大提高了科学大数据的检索效率。

技术领域

本发明涉及数据检索技术领域，更具体地，涉及一种面向科学大数据的索引生成方法和检索方法。

背景技术

目前数据检索的常用办法主要有位图检索、B-Tree检索、哈希检索以及块索引。

采用位图检索的时候，本身索引文件很大，特别是数据集中基数大的时候，索引文件本身的大小可能已经超过原始数据的大小，这样导致索引存储的时候占据大量的空间，同时在检索过程中，读取数据的时候，需要读取大量的索引文件，这样导致检索效率下降，计算节点使用效率变低。

B-Tree检索主要是针对读写负载均衡的应用，但是目前的科学大数据分析读写负载不均衡，采用B-Tree会导致索引性能浪费，且B-Tree不能很好支持并行。因此，B-Tree检索不适用于科学大数据分析。

哈希索引是用于点查询，科学数据的读取往往是连续的，需要取多个连续数据，哈希函数的记录排序都是经过哈希函数计算出来，没有一定的顺序。因此，哈希索引也不适合科学大数据分析。

块索引检索是根据检索条件，每次若干个数据块进行，每次检索的数据块大小相同，没有利用数据的特点进行检索。

针对科学大数据分析，目前常用的是双层索引方式，结合了块索引粗粒度查询和位图索引细粒度查询的优点。但是现有针对数据块的双层索引方式通常是在建立索引过程中，预先设置数据块的大小，然后针对数据块的大小建立双层索引。在检索的过程中，通过双层索引确定数据的范围。而数据块大小，只能是按照经验大概进行设计。

科学数据块被检索进程读取进内存时，数据块大小对性能有较大的影响。在海量科学数据的建立索引的时候，很难预测最佳数据块大小。在无法准确预知哪些数据会被访问到的情况下，无法确定数据块大小应该设计偏大还是偏小。当数据块大小设置过大的时候，I/O吞吐量较大，进行磁盘访问的次数减少，这样导致大部分冗余信息读取进入磁盘中，在检索约束进行候选检查时，需要耗费大量的计算资源去过滤数据。当数据块大小设置过小的时候，I/O吞吐量较小，每次读入内存的冗余数据较少，但是需要多次访问磁盘，增加I/O磁盘访问开销。即使超级计算机天河二号A的I/O带块的峰值有500GB/s。但是相对于其每秒上亿次的计算速度来说，还是相对很慢的，其磁盘的访问速率远低于内存的计算速度。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种面向科学大数据的索引生成方法和检索方法，既可以防止数据块太大而导致检索时过多冗余信息进入磁盘而增加数据过滤的开销，又可以防止数据块太小而导致检索时增加磁盘访存的开销，更加充分利用计算机的计算资源，大大提高了科学大数据的检索效率。

本发明采取的技术方案是：

一种面向科学大数据的索引生成方法，包括以下步骤：

根据各个数据块的热度确定其中若干个数据块为热点数据块；

根据热点数据块的连续情况将热点数据块和与该热点数据块邻近的数据块进行合并；

根据合并后的数据块生成数据索引或更新原有的数据索引。