[发明专利]基于ElasticSearch和Hbase技术的网络传输数据检索系统在审
| 申请号： | 201811604106.7 | 申请日： | 2018-12-26 |
| 公开（公告）号： | CN109783535A | 公开（公告）日： | 2019-05-21 |
| 发明（设计）人： | 邱祥吉;王永程;夏延钊;刘明明;杨家红;龚虹瑞 | 申请（专利权）人： | 航天恒星科技有限公司 |
| 主分类号： | G06F16/2458 | 分类号： | G06F16/2458;G06F16/25;G06F16/953 |
| 代理公司： | 北京善任知识产权代理有限公司 11650 | 代理人： | 王军;高杰 |
| 地址： | 100083 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于ElasticSearch和Hbase技术的网络传输数据检索系统，包括：数据存储模块，用于将元数据和二进制报文数据存储至ElasticSearch和Hbase数据库；以及数据查询模块，包括：元数据查询单元，用于从ElasticSearch存储库中获取网络数据的元数据；二进制报文数据查询单元，用于根据输入的查询条件，将获取到的二进制报文数据存储到Hbase数据库的result表中；元数据及二进制报文数据查询单元，用于根据输入的查询条件，将其获取到的二进制报文数据存储到Hbase数据库的result表中；同时，获取网络数据的元数据，组合后返回至外部系统；查询任务管理单元，用于进行列表显示、结束进程操作。本发明满足元数据及二进制报文数据的快速检索，从海量网络数据中准确、快速地抽取出用户关心的相关数据。 | ||
| 搜索关键词： | 二进制报文 元数据 数据存储 数据查询单元 网络传输数据 检索系统 数据库 查询条件 网络数据 任务管理单元 数据查询模块 数据存储模块 查询单元 海量网络 快速检索 列表显示 外部系统 存储库 取出 查询 返回 进程 | ||
【主权项】：
1.基于ElasticSearch和Hbase技术的网络传输数据检索系统，其特征在于，包括：数据存储模块，用于将接收的网络数据中元数据和二进制报文数据存储至ElasticSearch和Hbase数据库，其中Hbase数据库设置若干个数据分区；和数据查询模块，所述数据查询模块包括：元数据查询单元，用于从数据存储模块的ElasticSearch存储库中获取网络数据的元数据；二进制报文数据查询单元，用于根据输入的查询条件，运行若干个任务job分别从数据存储模块的Hbase数据库的各数据分区中获取二进制报文数据，及当其中一个任务job开始运行后将其获取到的二进制报文数据存储到Hbase数据库的result表中；元数据及二进制报文数据查询单元，用于根据输入的查询条件，运行若干个任务job分别从数据存储模块的Hbase数据库的各数据分区中获取二进制报文数据，及当其中一个任务job开始运行后将其获取到的二进制报文数据存储到Hbase数据库的result表中；同时，从数据存储模块的ElasticSearch存储库中获取网络数据的元数据，及将获取的元数据和二进制报文数据组合后返回至外部系统；和查询任务管理单元，用于对当前进行查询的MapReduce任务进行列表显示、结束进程操作。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于航天恒星科技有限公司，未经航天恒星科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811604106.7/，转载请声明来源钻瓜专利网。
