[发明专利]一种用于医疗影像数据的基于布隆过滤器的HBase索引设计方法

说明书

本发明公开一种用于医疗影像数据的基于布隆过滤器的HBase多级索引设计方法，采用为每个随机函数都单独分配一组位向量的方式减小了布隆过滤器的假阳性误判率，并且将其作为判断待检索数据是否在集合中的第一步。之后对现有的HBase二级索引提出改进方法，将减少数据的网络IO次数作为主要优化点，独特的行键设计保证了数据表和索引表能够分布在同一个Region上，并且设计了一种抽样散列法解决了Region的写热点问题，从而即利用了负载均衡的特性，又在一定程度上加快了检索效率。

技术领域

本发明属于计算机软件领域，尤其涉及一种用于医疗影像数据的基于布隆过滤器的多级索引设计方法。

背景技术

随着现今医疗信息化的不断发展，数据量的急剧增加，PACS(影像归档和通信系统)所使用的关系型数据库存储方案已经很难满足日常的存储与检索需求。借助Hadoop这样的大数据分布式平台及新型的NoSQL数据库解决海量医疗影像数据的存储与检索已成为解决该问题的有效途径之一。

HBase列式数据库属于Hadoop生态圈，兼容性非常好，可以直接与HDFS进行读写交互。同时，HBase的可扩展性使得用户不需要提前制定好表的结构，而是根据需要进行动态扩展，解决了关系型数据库必须预先制定表结构的问题。然而，HBase在索引方面仍有所欠缺，仅仅支持主键的索引，对于非主键的列必须全表扫描，效率不高。目前已经有一些学者研究提出一些对于HBase非主键索引的设计方法。下面举例说明。(1)构建二级索引的方法。这种方法主要采取倒排索引的思想，将主表中待建立索引的列作为索引表中的主键，而主表的主键作为索引表的值，首先通过查询一次索引表，拿到相关列对应的主键，再从主表中查询对应的行，这种方法虽然简易，但是需要两次查询，牺牲了一些性能。(2)线性化索引方法，这种方法是通过把K维数据映射到一维空间，然后利用HBase的一维索引技术。这种方法在处理空间数据时有着很好的效果，但是处理文本数据并不理想，而医疗影像文件主要是数字和文本数据，所以这种方法也不适用。(3)双层索引法，该方法使用全局索引与局部索引相配合的形式，来减少查询的数据节点个数，从高层索引到低层索引缩小了查询范围。但是每次写入数据时都需要对双层索引进行维护，代价很大，而且具体的双层索引需要使用不同的数据结构，实现比较复杂。