[发明专利]一种实现HDFS文件占用率自动监控的方法及系统

摘要

本发明公开了一种实现HDFS文件占用率自动监控的方法，其特征在于，首先配置HDFS路径、namenodes，调用java API接口获取HDFS文件目录和文件大小、原始日志及数据仓库目录下的层级路径列表及文件大小；编写ETL，计算各类文件大小；采用报表软件展示每日HDFS总目录；配置调度，获取HDFS存储情况，更新相关元数据表，标示相应文件。本发明针对HDFS文件占用率监控问题进行了算法和系统的设计，将底层目录地址及文件大小存储到数据库，然后通过存储过程计算每层目录的路径及大小，最后通过报表展现出来，该方法和系统能够高效智能的完成监控任务，大大降低了HDFS的维护时间。

主权项

1.一种实现HDFS文件占用率自动监控的方法，其特征在于，包括如下步骤：步骤一：JAVA中动态配置HDFS的namenodes，包含Active NameNode和Standby NameNode：两台NameNode形成互备，一台处于Active状态，为主NameNode，另外一台处于Standby状态，为备NameNode，配置HDFS路径包括原始日志存放路径/user/root/ODS/、日志处理后的仓库表存放路径/user/hive/warehouse/、配置oralce数据库用户名及密码；通过调用java API接口递归循环获取各路径下的文件名和文件大小，将获取到的文件名和文件大小存入list表中；在数据库中建立相应的中间表，并且每次将list表中的数据插入到中间表之前，将ODS和DW层的中间表清空，所述ODS和DW层的中间表最多只存放近7天数据，而/user/root/ODS/、/user/hive/warehouse/路径的总文件大小存放历史之今的数据；步骤二：获取的数据插入到数据库之后，编写ETL，通过正则判断区分不规则路径，计算原始日志每个日期分区下文件大小；计算各数据库用户的文件大小、数据库用户下各表的文件大小、数据库用户下各表下每个分区的文件大小；步骤三：采用报表软件展示每日HDFS总目录，将文件大小、新增、同比、环比、明细通过图表展现出来；步骤四：通过kettle配置调度，所述步骤一中产生的JAR包发布后，编写Shell文件调度JAR包，在执行shell文件之前先在日志表里写一条开始执行的记录，执行结束后将执行结果写入日志表；最后调度在oracle里已经编写的存储过程并写相关日志。