[发明专利]一种实现HDFS文件占用率自动监控的方法及系统

说明书

本发明公开了一种实现HDFS文件占用率自动监控的方法，其特征在于，首先配置HDFS路径、namenodes，调用java API接口获取HDFS文件目录和文件大小、原始日志及数据仓库目录下的层级路径列表及文件大小；编写ETL，计算各类文件大小；采用报表软件展示每日HDFS总目录；配置调度，获取HDFS存储情况，更新相关元数据表，标示相应文件。本发明针对HDFS文件占用率监控问题进行了算法和系统的设计，将底层目录地址及文件大小存储到数据库，然后通过存储过程计算每层目录的路径及大小，最后通过报表展现出来，该方法和系统能够高效智能的完成监控任务，大大降低了HDFS的维护时间。

技术领域

本发明涉及数据库技术领域，特别是涉及一种实现HDFS文件占用率自动监控的方法及系统。

背景技术

在企业大数据分析中，随着业务的不断开展，数据分析背后所依赖的日志文件和业务表也逐渐增多，大数据时代已经到来。Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据，Hadoop的两个主要组件很重要：一个是用于存储的Hadoop分布式文件系统(HDFS)，另一个是MapReduce框架，让你可以对Hadoop 里面存储的任何数据执行批量分析任务，但是当HDFS存储空间不足，很多任务无法执行，这就需要维护人员准确删除冗余占空间的文件，定期释放存储空间，因此HDFS的文件占用率监控就显得极其重要。

传统的监控HDFS文件占用率往往是在HDFS空间不足时人为去定位哪个目录下的文件占用率较大，时间较长且定位不够准确，导致HDFS的维护时间较长，从而影响多个任务的执行。

因此，需要一种能够高效智能的完成监控任务，降低HDFS维护时间的方法及系统。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种实现HDFS文件占用率自动监控的方法及系统。

为解决上述技术问题，本发明提供一种实现HDFS文件占用率自动监控的方法，其特征在于，包括如下步骤：

步骤一：JAVA中动态配置HDFS的namenodes，包含Active NameNode和StandbyNameNode：两台NameNode形成互备，一台处于Active状态，为主NameNode，另外一台处于Standby状态，为备NameNode，配置HDFS路径包括原始日志存放路径 /user/root/ODS/、日志处理后的仓库表存放路径/user/hive/warehouse/、配置oralce数据库用户名及密码；

步骤二：通过调用java API接口递归循环获取各路径下的文件名和文件大小，将获取到的文件名和文件大小存入list表中；

步骤三：在数据库中建立相应的中间表，并且每次将list表中的数据插入到中间表之前，将ODS和DW层的中间表清空，所述ODS和DW层的中间表最多只存放近7天数据，而 /user/root/ODS/、/user/hive/warehouse/路径的总文件大小存放历史之今的数据；

步骤四：获取的数据插入到数据库之后，编写ETL，通过正则判断区分不规则路径，计算原始日志每个日期分区下文件大小；计算各数据库用户的文件大小、数据库用户下各表的文件大小、数据库用户下各表下每个分区的文件大小；

步骤五：采用报表软件展示每日HDFS总目录，将文件大小、新增、同比、环比、明细通过图表展现出来；

步骤六：通过kettle配置调度，所述步骤一中产生的JAR包发布后，编写Shell文件调度 JAR包，在执行shell文件之前先在日志表里写一条开始执行的记录，执行结束后将执行结果写入日志表；最后调度在oracle里已经编写的存储过程并写相关日志。