[发明专利]一种基于Hadoop平台的物联网日志处理方法和装置

权利要求书

1.一种基于Hadoop平台的物联网日志处理方法，其特征在于，所述方法包括：

配置物联网日志的日志格式并按照所述配置的日志格式采集物联网日志，所述日志格式为一条物联网日志包括类别标识字符串和日志内容字符串，所述日志内容字符串为json格式的日志内容字符串或者由任意列纯字符串值组成且各列纯字符串之间用分隔符隔开的日志内容字符串；

将采集到的所述物联网日志按照所述类别标识字符串标识的类别进行分类聚合并将分类聚合后的物联网日志的存储路径记录至日志备忘表；

定时更新所述日志备忘表或将所述分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区。

2.如权利要求1所述的方法，其特征在于，所述将采集到的所述物联网日志按照所述类别标识字符串标识的类别进行分类聚合并记录日志备忘表，包括：

根据所述类别标识字符串和日志内容字符串，解析出每一条物联网日志的日志内容部分和使用所述类别标识字符串标识的类别部分；

存储类别部分相同的物联网日志到同一目录，所述目录的目录名与所述相同类别部分对应的类别标识字符串相同；

将所述目录名和所述目录名对应的目录下物联网日志的产生时间记录至日志备忘表。

3.如权利要求1所述的方法，其特征在于，所述分类聚合后的物联网日志中类别部分相同的物联网日志存储在同一目录，所述物联网日志的类别部分使用类别标识字符串标识，所述目录的目录名与所述相同类别部分对应的类别标识字符串相同，所述目录名和所述目录名下物联网日志的产生时间记录在日志备忘表。

4.如权利要求3所述的方法，其特征在于，所述定时更新所述日志备忘表或将所述分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区，包括：

周期性地遍历存储所述分类聚合后的物联网日志的目录；

根据hive注册表，判断所述目录中是否存在目录已创建hive表，所述hive注册表记录有目录名和与所述目录名对应的hive表的名称；

若所述目录中存在目录已创建hive表，则将所述已创建hive表的目录下的物联网日志加载至hive表的日期分区，否则，将尚未创建hive表的目录的目录名和所述尚未创建hive表的目录的目录名对应的目录下物联网日志的产生时间记录至所述日志备忘表。

5.如权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

创建所述hive表和日志备忘表；

根据所述hive表，定时生成MySQL数据报表并显示。

6.一种基于Hadoop平台的物联网日志处理装置，其特征在于，所述装置包括：

日志采集模块，用于配置物联网日志的日志格式并按照所述配置的日志格式采集物联网日志，所述日志格式为一条物联网日志包括类别标识字符串和日志内容字符串，所述日志内容字符串为json格式的日志内容字符串或者由任意列纯字符串值组成且各列纯字符串之间用分隔符隔开的日志内容字符串；

分类聚合模块，用于将所述采集到的物联网日志按照所述类别标识字符串标识的类别进行分类聚合并将分类聚合后的物联网日志的存储路径记录至日志备忘表；

定时分析模块，用于定时更新所述日志备忘表或将所述分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区。

7.如权利要求6所述的装置，其特征在于，所述分类聚合模块包括：

解析单元，用于根据所述类别标识字符串和日志内容字符串，解析出每一条物联网日志的日志内容部分和使用所述类别标识字符串标识的类别部分；

存储单元，用于存储类别部分相同的物联网日志到同一目录，所述目录的目录名与所述相同类别部分对应的类别标识字符串相同；

记录单元，用于将所述目录名和所述目录名对应的目录下物联网日志的产生时间记录至日志备忘表。