[发明专利]一种基于HBase的日志存储系统及实现方法

摘要

本发明公开一种基于HBase的日志存储系统及实现方法，属于大数据存储技术领域。该系统包括四大功能模块：用户管理模块，用于用户注册、信息审核、管理员分配存储空间和对用户的基本情况进行管理；日志管理模块，用于申请系统账号、管理系统账号、自定义日志类型、管理日志类型以及日志的查询和下载；远程服务调用模块，用于用户系统调用服务器发布的Web Service服务，包括身份验证服务和日志远程存储服务；系统查询模块，用于剩余空间量的查询和展示及站内信联系管理员，提供多种形式的图表展示。本发明采用分布式Hadoop的HBase数据库作为日志存储容器，能够满足海量数据的存储需求并充分利用Hadoop集群廉价、相对稳定的存储特点。

主权项

1.一种基于HBase的日志存储系统的实现方法，该方法采用的日志存储系统，包括用户管理模块，用于用户注册、注册审核、管理员分配存储空间和对用户的基本情况进行管理；日志管理模块，用于对系统账号、日志类型和日志的管理；远程服务调用模块，用于Web服务的发布以及用户系统调用发布的Web服务进行日志的存储，包括身份验证服务和日志的远程实时存储服务；系统查询模块，用于剩余空间量的查询、展示以及站内信联系管理员；其中用户管理模块与分布式数据库双向连接，分布式数据库与日志管理模块双向连接，日志管理模块与远程服务调用模块连接，远程服务调用模块通过分布式数据库与系统查询模块连接；所述用户管理模块，包含用户审核单元、存储空间分配单元和用户信息管理单元；所述日志管理模块，包括系统账号申请单元、日志类型管理单元和日志查询单元；所述远程服务调用模块，包括系统配置单元、服务发布单元和服务调用单元；所述系统查询模块，包括剩余空间查询单元、联系管理员单元和站内信管理单元；其特征在于，该方法包含如下步骤：S‑1：本系统的一个具体使用者，以下简称用户，通过注册接口注册本系统；管理员审核注册用户，对符合要求的用户按权分配存储空间和最大系统存储数；S‑2：注册成功的用户申请系统账号，根据当前注册时间产生系统账号，根据随机密码产生函数产生唯一系统密码，同一注册用户可同时申请多个系统账号，系统默认最大系统申请数为10，用户可根据需要联系管理员进行变更；S‑3：用户自定义每个属性段的含义和属性段的标示符，系统默认‘#’作为属性段之间的分隔符，形成一条新的日志类型；S‑4：系统启动后向Web服务器发布Web服务供用户系统调用；S‑5：用户系统请求并调用Web服务，用户系统产生的日志被实时写入HBase的日志表中，同时返回日志存储是否成功的提示信息。