[发明专利]一种基于Hadoop平台的物联网日志处理方法和装置

说明书

本发明提供一种基于Hadoop平台的物联网日志处理方法和装置，以提高系统输出的日志的可分析性，并满足业务报表的周期性输出需求。所述方法包括：配置物联网日志的日志格式并按照配置的日志格式采集物联网日志；将采集到的物联网日志按照类别标识字符串标识的类别进行分类聚合并将分类聚合后的物联网日志的存储路径记录至日志备忘表；定时更新日志备忘表或将分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区。本发明提供的技术方案使得输出的日志的可分析性显著增强，能够满足需要周期性输出分析结果的业务的需求。

技术领域

本发明属于数据存储领域，尤其涉及一种基于Hadoop平台的物联网日志处理方法和装置。

背景技术

随着物联网的快速发展，越来越多的设备接入到物联网，使得用户、应用、设备产生的数据呈现飞速增长的趋势，海量数据的出现和数据结构的复杂多变，给物联网服务器端管理和分析处理数据带来了巨大的挑战。另一方面，这些数据，例如用户的操作习惯、设备(白家电的冰箱、洗衣机、空调等)的用水记录、用电记录等，往往需要很长的保存期，以对用户的行为数据进行挖掘，做出智能推荐。而随着用户数量和设备连接数量的增加，对数据存储空间的需求还将会越来越大。物联网要存储的数据结构各异，传统的基于关系型的数据库如MySQL、Oracle等无法有效地存储和应对不断增加的新型业务产生的数据结构的变化，而NoSQL数据库如MongoDB虽然可以不受限于固定列的存在，可以动态适应数据结构的变化，但是NoSQL基本都是内存数据库，虽然应对键-值(key-value)查询比较高效，但却无法存储海量数据。Hadoop分布式技术的发展为解决上述问题提供了技术手段。

现有的一种基于Hadoop平台的物联网日志处理方案是一种基于hadoop平台的医保门诊大数据抽取系统及方法，其使用Flume从业务服务器中抽取数据，并存储到Hadoop的HDFS中，然后根据设定的清洗规则，将其中错误的或者不一致的“脏数据”过滤掉，保留合格的数据，接着使用Hive进行数据仓库建模，并提供用于客户端进行数据查询的SQL解析引擎，经过查询分析模块分析后有价值的医保门诊数据存储到Hbase分布式数据库中，供客户端查询，最后使用开源的报表系统如BIRT通过Hbase查询数据并展现。

如前所述，物联网业务日志需要通过日志来记录软件系统运行过程中所有的消息，例如状态、操作、故障、用户行为、开机情况、用水(电)量等等信息，并针对不同的业务类型消息形成相应的每月、每周、每天的报表，供web前台直接读取。然而，现有的基于Hadoop平台的物联网日志处理方案所输出的日志不仅信息量较大，而且包含各种类型的日志信息，输出的日志的众多信息掺杂在一起，导致系统输出的日志的可分析性较差，若是需要周期性输出分析结果的业务，物联网日志的上述处理方案也无法满足这一需求。

发明内容

本发明的目的在于提供一种基于Hadoop平台的物联网日志处理方法和装置，以提高系统输出的日志的可分析性，并满足业务报表的周期性输出需求。

本发明第一方面提供一种基于Hadoop平台的物联网日志处理方法，所述方法包括：

配置物联网日志的日志格式并按照所述配置的日志格式采集物联网日志，所述日志格式为一条物联网日志包括分隔符以及由所述分隔符分隔的类别标识字符串和日志内容字符串；

将采集到的所述物联网日志按照所述类别标识字符串标识的类别进行分类聚合并将所述分类聚合后的物联网日志的存储路径记录至日志备忘表；

定时更新所述日志备忘表或将所述分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区。

本发明第二方面提供一种基于Hadoop平台的物联网日志处理装置，所述装置包括：

日志采集模块，用于配置物联网日志的日志格式并按照所述配置的日志格式采集物联网日志，所述日志格式为一条物联网日志包括分隔符以及由所述分隔符分隔的类别标识字符串和日志内容字符串；