[发明专利]一种日志数据建模分析方法及计算机可读存储介质

说明书

本发明提供一种日志数据建模分析方法及计算机可读存储介质，方法包括：根据自定义的日志关键信息抽取每条日志数据中的关键信息；关键信息包括至少一种信息；根据关键信息构建所述日志之间的日志子图，日志子图是可扩展的属性图；日志子图包括顶点和所述顶点的属性边；顶点是所述关键信息中的一种信息，顶点的属性边根据顶点的属性在两个存在关联关系的顶点之间构建；每个顶点和属性边从属至少一个日志子图；所有日志子图组成第一集合并存储；接收用户的访问请求，根据访问请求对第一集合进行建模分析生成与访问请求对应的分析结果。提出可扩展的属性图的结构，大大提升了日志图这样天然的异构图的表达分析能力。

技术领域

本发明涉及计算机信息处理技术领域，尤其涉及一种日志数据建模分析方法及计算机可读存储介质。

背景技术

日志是记录系统运行状况以及用户操作行为的一种重要的手段。在大数据时代，随着服务种类的增加，服务器系统每秒钟会产生海量的日志信息。对海量日志的管理不仅切合《网络安全法》网络日志需要至少留存六个月的要求，还能帮助系统管理人员从海量日志中分析系统性能、监视系统异常行为以及挖掘有价值的信息。这些复杂的处理需求促使日志管理系统除了能够满足简单的检索功能外，还需要具有对日志进行关联分析的能力。例如，从海量日志中发现异常的用户行为、利用关键路径分析服务性能等等。

目前的日志处理流程，其一是以ElasticSearch为代表的全文检索引擎提供简单的搜索功能，其二是利用一定的规则匹配对日志进行分析，都无法满足日志的关联分析任务。将日志信息建模成图，并利用图处理的研究成果分析日志之间的关联关系是提升日志存储以及分析能力的有效手段也是一个广泛的需求。

而当前对于图数据的管理和分析系统分为了两大类，一是图数据库系统，以neo4j为代表，专注于图数据的有效存储和事物处理，但是不太适合大容量的数据分析以及图挖掘，二是图计算引擎，比如google的Pregel，或GraphX之类的并行图形处理系统，可以并行地在多台机器上处理和分析大规模图形数据，但是这类系统缺少丰富的图数据模型。日志建模成图，因为每条日志数据的信息都十分丰富，首先需要支持不具有固定模式的异构属性，然后数据模型不仅能够表示单个图，还要能够表示图的集合，最后这个模型还要能够提供通用的图的各种高效算法用于海量日志分析。当前的图数据管理和分析系统都不能很好地满足这三个要求。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种日志数据建模分析方法及计算机可读存储介质。

为了解决上述问题，本发明采用的技术方案如下所述：

一种日志数据建模分析方法，包括如下步骤：S1：根据自定义的日志关键信息抽取每条日志数据中的关键信息；所述关键信息包括至少一种信息；S2：根据所述关键信息构建所述日志之间的日志子图，所述日志子图是可扩展的属性图；所述日志子图包括顶点和所述顶点的属性边；所述顶点是所述关键信息中的一种信息，所述顶点的属性边根据所述顶点的属性在两个存在关联关系的所述顶点之间构建；每个所述顶点和所述属性边从属至少一个所述日志子图；S3：所有所述日志子图组成第一集合并存储；S4：接收用户的访问请求，根据所述访问请求对所述第一集合进行建模分析生成与所述访问请求对应的分析结果。

优选地，采用分布式存储存储所述第一集合。

优选地，所述第一集合中各个所述日志子图中的元信息存储在第一存储文件中，各个所述日志子图中所述顶点和所述顶点的属性边的信息存储在第二存储文件中；每个所述顶点具有唯一的ID且只存储一次，每个所述属性边被连接的两个顶点分别存储一次。

优选地，通过搭建Hadoop集群，并基于Hadoop集群构建HBase集群和Flink集群进行分布式存储。