[发明专利]日志数据处理方法、系统、设备及介质

说明书

本发明公开了一种日志数据处理方法、系统、设备及介质，所述日志数据处理方法应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述方法包括：从所述列式数据库管理系统中获取目标日志数据；对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；其中，所述预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。本发明通过多种预设管理方式之间相互配合、相互协调，实现日志全生命周期的自助管理，实现了对超大规模的日志数据处理以及对列式数据库管理系统的管理，大大降低了列式数据库管理系统的运维和管理成本。

技术领域

本发明涉及数据处理技术领域，特别涉及一种日志数据处理方法、系统、设备及介质。

背景技术

互联网服务提供商为了提高企业的服务质量，需要记录用户的访问信息、网络的运行状况等。随着互联网的迅猛发展和公司业务不断拓展，带来了日益增多的互联网用户，而庞大的用户量，使得记录信息的过程会产生海量的日志数据，而如何管理和分析这些海量的日志数据成为互联网企业的一个难题。

现有的日志分析普遍存在如下问题：

(1)数据量大，增量数据和存量数据都非常大，处理和存储成本高，要求日志分析系统有较大的吞吐量；

(2)实时性要求高，日志一般用于了解系统当前发生的事情，要求数据实时；

(3)查询的QPS(每秒查询率)不高，但是单次查询的数据量大，对于查询性能要求高

(4)日志数据不规则，需要进行ETL(Extract-Transform-Load，抽取-清洗-转换)等，让日志变成规范的数据，才具有使用价值。

发明内容

本发明要解决的技术问题是为了克服现有技术无法处理大规模数据的缺陷，提供一种日志数据处理方法、系统、设备及介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种日志数据处理方法，所述方法应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述方法包括：

从所述列式数据库管理系统中获取目标日志数据；

对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；

其中，所述预设管理方式对应IDC(Internet Data Center，互联网数据中心)管理、NODE(节点)管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。

较佳地，所述日志存储系统还包括日志数据预处理系统，所述方法还包括：

基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理以获取配置结果；

其中，所述配置结果对应所述列式数据库管理系统中所述目标日志数据的生命全周期管理。

较佳地，所述基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理的步骤包括：

基于所述日志数据预处理系和所述列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。

较佳地，所述日志存储系统还包括展示系统，所述方法还包括：

基于所述展示系统展示所述目标日志数据；

和/或，

所述列式数据库管理系统包括Clickhouse(一个开源的高性能列式分布式数据库管理系统)集群管理系统。