[发明专利]基于ElasticSearch和Hbase技术的网络传输数据检索系统

说明书

本发明提供一种基于ElasticSearch和Hbase技术的网络传输数据检索系统，包括：数据存储模块，用于将元数据和二进制报文数据存储至ElasticSearch和Hbase数据库；以及数据查询模块，包括：元数据查询单元，用于从ElasticSearch存储库中获取网络数据的元数据；二进制报文数据查询单元，用于根据输入的查询条件，将获取到的二进制报文数据存储到Hbase数据库的result表中；元数据及二进制报文数据查询单元，用于根据输入的查询条件，将其获取到的二进制报文数据存储到Hbase数据库的result表中；同时，获取网络数据的元数据，组合后返回至外部系统；查询任务管理单元，用于进行列表显示、结束进程操作。本发明满足元数据及二进制报文数据的快速检索，从海量网络数据中准确、快速地抽取出用户关心的相关数据。

技术领域

本发明属于网络数据分析技术领域，涉及一种基于ElasticSearch和Hbase技术的网络传输数据检索系统。

背景技术

随着物联网、社交网络、云计算等技术不断融入我们的生活以及现有的计算能力、存储空间、网络带宽的高速发展，人类积累的网络数据在互联网、通信、金融、商业、医疗等诸多领域不断地增长和累积。

然而，随着高速发展的信息技术，海量的网络数据信息使得人们难以快速准确的检索出所需要的相关信息。

但目前的数据传输系统，无法结合ElasticSearch和Hbase技术，使得数据传输中无法进行快速存储和元数据及二进制报文数据的快速检索，降低系统的查询检索效率。

发明内容

发明所要解决的课题是：针对目前的数据传输系统无法结合ElasticSearch和Hbase技术，无法进行元数据及二进制报文数据的快速检索，降低系统的查询检索效率的问题。

为了解决上述课题，本发明提出一种基于ElasticSearch和Hbase技术的网络传输数据检索系统，包括：

数据存储模块，用于将接收的网络数据中元数据和二进制报文数据存储至ElasticSearch和Hbase数据库，其中Hbase数据库设置若干个数据分区；和

数据查询模块，

该数据查询模块包括：元数据查询单元，用于从数据存储模块的ElasticSearch存储库中获取网络数据的元数据；

二进制报文数据查询单元，用于根据输入的查询条件，运行若干个任务job分别从数据存储模块的Hbase数据库的各数据分区中获取二进制报文数据，及当其中一个任务job开始运行后将其获取到的二进制报文数据存储到Hbase数据库的result表中；

元数据及二进制报文数据查询单元，用于根据输入的查询条件，运行若干个任务job分别从数据存储模块的Hbase数据库的各数据分区中获取二进制报文数据，及当其中一个任务job开始运行后将其获取到的二进制报文数据存储到Hbase数据库的result表中；同时，从数据存储模块的ElasticSearch存储库中获取网络数据的元数据，及将获取的元数据和二进制报文数据组合后返回至外部系统；和

查询任务管理单元，用于对当前进行查询的MapReduce任务进行列表显示、结束进程操作。

进一步地，作为本发明的一种优选技术方案，所述数据存储模块的存储数据量不少于10TB。

进一步地，作为本发明的一种优选技术方案，所述元数据查询单元将查询数量与设定的阈值比较，当查询数量小于等于设定的阈值时一次获取所有网络数据的元数据，否则指定一个搜索起始位置和每次的搜索数据条数，通过多次调用分批获取网络数据，直到得到所有的网络数据。

进一步地，作为本发明的一种优选技术方案，所述二进制报文数据查询单元运行任务job采用ACMP算法。